Ассимиляция данных для численных моделей: методы и применение

Введение

Техника обновления численной модели с использованием наблюдаемых данных

Ассимиляция данных – это математическая дисциплина, стремящаяся оптимально сочетать теорию (обычно в форме численной модели) с наблюдениями. Могут преследоваться различные цели – например, определение оптимальной оценки состояния системы, определение начальных условий для модели численного прогноза, интерполяция разреженных данных наблюдений с использованием (например, физических) знаний о наблюдаемой системе, установка численных параметров на основе обучения модели на наблюдаемых данных. В зависимости от цели могут использоваться различные методы решения. Ассимиляция данных отличается от других форм машинного обучения, анализа изображений и статистических методов тем, что она использует динамическую модель анализируемой системы. Ассимиляция данных первоначально была разработана в области численного прогнозирования погоды. Численные модели прогнозирования погоды – это уравнения, описывающие динамическое поведение атмосферы, обычно закодированные в компьютерную программу. Для использования этих моделей в прогнозировании необходимы начальные условия, которые максимально точно соответствуют текущему состоянию атмосферы. Простое внесение точечных измерений в численные модели не дало удовлетворительного решения. Реальные измерения содержат ошибки, обусловленные как качеством прибора, так и точностью определения местоположения измерения. Эти ошибки могут вызывать нестабильность в моделях, приводящую к потере точности прогноза. Таким образом, для инициализации модели с использованием всех доступных данных и обеспечения стабильности численной модели требовались более сложные методы. Такие данные обычно включают сами измерения, а также предыдущий прогноз, действительный в момент проведения измерений. При итеративном применении этот процесс начинает накапливать информацию из прошлых наблюдений во всех последующих прогнозах. Поскольку ассимиляция данных развивалась из области численного прогнозирования погоды, она изначально приобрела популярность в гео- и атмосферных науках. Фактически, одна из наиболее цитируемых публикаций во всех гео- и атмосферных науках – это применение ассимиляции данных для реконструкции наблюдаемой истории атмосферы.

Data assimilation is a mathematical discipline that seeks to optimally combine theory (usually in the form of a numerical model) with observations. There may be a number of different goals sought – for example, to determine the optimal state estimate of a system, to determine initial conditions for a numerical forecast model, to interpolate sparse observation data using (e. g. physical) knowledge of the system being observed, to set numerical parameters based on training a model from observed data. Depending on the goal, different solution methods may be used. Data assimilation is distinguished from other forms of machine learning, image analysis, and statistical methods in that it utilizes a dynamical model of the system being analyzed. Data assimilation initially developed in the field of numerical weather prediction. Numerical weather prediction models are equations describing the dynamic behavior of the atmosphere, typically coded into a computer program. In order to use these models to make forecasts, initial conditions are needed for the model that closely resemble the current state of the atmosphere. Simply inserting point wise measurements into the numerical models did not provide a satisfactory solution. Real world measurements contain errors both due to the quality of the instrument and how accurately the position of the measurement is known. These errors can cause instabilities in the models that eliminate any level of skill in a forecast. Thus, more sophisticated methods were needed in order to initialize a model using all available data while making sure to maintain stability in the numerical model. Such data typically includes the measurements as well as a previous forecast valid at the same time the measurements are made. If applied iteratively, this process begins to accumulate information from past observations into all subsequent forecasts. Because data assimilation developed out of the field of numerical weather prediction, it initially gained popularity amongst the geosciences. In fact, one of the most cited publication in all of the geosciences is an application of data assimilation to reconstruct the observed history of the atmosphere.

Подробности процесса ассимиляции данных

Классически, ассимиляция данных применяется к хаотическим динамическим системам, которые слишком сложно предсказать с помощью простых методов экстраполяции. Причина этой сложности заключается в том, что небольшие изменения в начальных условиях могут приводить к значительным изменениям в точности прогноза. Это иногда называют эффектом бабочки – чувствительной зависимостью от начальных условий, когда небольшое изменение в одном состоянии детерминированной нелинейной системы может привести к большим различиям в последующем состоянии. В любой момент обновления ассимиляция данных обычно берет прогноз (также известный как первое приближение или фоновая информация) и применяет к нему коррекцию на основе набора наблюдаемых данных и оценок ошибок, присутствующих как в наблюдениях, так и в самом прогнозе. Разница между прогнозом и наблюдениями в данный момент времени называется отклонением или инновацией (поскольку она предоставляет новую информацию в процесс ассимиляции данных). Весовой коэффициент применяется к инновации, чтобы определить, в какой степени следует корректировать прогноз на основе новой информации из наблюдений. Наилучшая оценка состояния системы, основанная на коррекции прогноза, определяемой весовым коэффициентом, умноженным на инновацию, называется анализом. В одном измерении вычисление анализа может быть таким же простым, как формирование взвешенного среднего прогнозируемого и наблюдаемого значения. В многомерном случае задача становится более сложной. Значительная часть работы в области ассимиляции данных сосредоточена на адекватной оценке соответствующего весового коэффициента, основанной на глубоком понимании ошибок в системе. Измерения обычно производятся в реальной системе, а не в неполном представлении этой системы в модели, поэтому требуется специальная функция, называемая оператором наблюдения (обычно обозначаемая h для нелинейного оператора или H для его линеаризации), чтобы отобразить моделируемую переменную в форму, которую можно непосредственно сравнить с наблюдением.

Ассимиляция данных в качестве статистической оценки

Одной из распространенных математико-философских точек зрения является рассмотрение ассимиляции данных как задачи байесовского оценивания. С этой точки зрения, шаг анализа представляет собой применение теоремы Байеса, а общая процедура ассимиляции является примером рекурсивного байесовского оценивания. Однако вероятностный анализ обычно упрощается до вычислительно реализуемой формы. Эволюция распределения вероятности во времени в общем случае описывается уравнением Фоккера — Планка, но это не представляется возможным для систем высокой размерности; поэтому вместо этого используются различные приближения, оперирующие с упрощенными представлениями распределений вероятности. Часто предполагается, что распределения вероятности являются гауссовскими, что позволяет представить их средним значением и ковариационной матрицей, что приводит к фильтру Калмана. Многие методы представляют распределения вероятности только средним значением, используя предварительно вычисленную ковариационную матрицу. Примером прямого (или последовательного) метода вычисления этого является оптимальная статистическая интерполяция, или просто оптимальная интерполяция (ОИ). Альтернативный подход заключается в итеративном решении функционала стоимости, который решает ту же задачу. Такие методы называются вариационными, например, 3D-Var и 4D-Var. Типичными алгоритмами минимизации являются метод сопряженных градиентов или метод обобщенных минимальных невязок. Ансамблевый фильтр Калмана — это последовательный метод, использующий подход Монте-Карло для оценки как среднего значения, так и ковариационной матрицы гауссовского распределения вероятностей посредством ансамбля симуляций. В последнее время гибридные комбинации ансамблевых подходов и вариационных методов становятся все более популярными (например, они используются для оперативных прогнозов как в Европейском центре среднесрочных прогнозов погоды (ECMWF), так и в Национальных центрах прогнозирования окружающей среды NOAA (NCEP)).

Присвоение данных в качестве обновления модели

Ассимиляция данных также может быть реализована в цикле обновления модели, где начальная модель (или начальное приближение) итеративно уточняется в цикле оптимизации для приведения модели в соответствие с наблюдаемыми данными. Существует множество методов оптимизации, и все они могут быть использованы для обновления модели; например, эволюционные алгоритмы показали свою эффективность как подходы, не требующие предварительных гипотез, но при этом вычислительно затратные.

Приложения для прогнозирования погоды

В приложениях численного прогноза погоды ассимиляция данных наиболее известна как метод объединения наблюдений метеорологических переменных, таких как температура и атмосферное давление, с предыдущими прогнозами для инициализации моделей численного прогноза.

Почему это необходимо

Атмосфера – это флюид. Идея численного прогнозирования погоды заключается в том, чтобы зафиксировать состояние флюида в определенный момент времени и использовать уравнения гидродинамики и термодинамики для оценки состояния флюида в будущем. Процесс ввода данных наблюдений в модель для генерации начальных условий называется инициализацией. На суше используются карты рельефа с разрешением вплоть до глобального, чтобы моделировать атмосферную циркуляцию в районах со сложным рельефом и более точно отображать такие явления, как донные ветры, горные волны и связанная с ними облачность, влияющая на входящее солнечное излучение. Основными данными, поступающими от национальных метеорологических служб, являются наблюдения с устройств (называемых радиозондами), установленных на метеорологических шарах, которые измеряют различные атмосферные параметры и передают их на стационарный приемник, а также данные с метеорологических спутников. Всемирная метеорологическая организация занимается стандартизацией приборов, методов и времени проведения наблюдений во всем мире. Станции передают данные либо ежечасно в отчетах METAR, либо каждые шесть часов в отчетах SYNOP. Поскольку наблюдения выполняются в нерегулярных точках, они обрабатываются методами ассимиляции данных и объективного анализа, которые обеспечивают контроль качества и получают значения в точках, пригодных для использования математическими алгоритмами модели. Некоторые глобальные модели используют метод конечных разностей, в котором земной шар представлен в виде дискретных точек на регулярно расположенной сетке широт и долгот; другие модели используют спектральные методы, решающие задачу для определенного диапазона длин волн. Затем эти данные используются в модели в качестве отправной точки для прогноза. Для сбора данных наблюдений, используемых в численных моделях, применяются различные методы. На станциях запускают радиозонды на метеорологических шарах, которые поднимаются через тропосферу и достигают стратосферы. Информация со спутников используется там, где недоступны традиционные источники данных. Коммерческие организации предоставляют отчеты пилотов по авиационным маршрутам и отчеты судов по морским маршрутам. В исследовательских проектах используются самолеты-разведчики для полетов внутри и вокруг интересующих метеорологических систем, таких как тропические циклоны. В холодное время года самолеты-разведчики также совершают полеты над открытым океаном в системы, вызывающие значительную неопределенность в прогнозах, или которые, как ожидается, окажут существенное влияние в течение трех-семи дней на континентальные районы, расположенные ниже по течению. Инициализация морского льда в моделях прогноза началась в 1971 году. Работа по включению температуры поверхности моря в процесс инициализации началась в 1972 году в связи с ее ролью в модулировании погоды в высоких широтах Тихого океана.

The atmosphere is a fluid. The idea of numerical weather prediction is to sample the state of the fluid at a given time and use the equations of fluid dynamics and thermodynamics to estimate the state of the fluid at some time in the future. The process of entering observation data into the model to generate initial conditions is called initialization. On land, terrain maps available at resolutions down to globally are used to help model atmospheric circulations within regions of rugged topography, in order to better depict features such as downslope winds, mountain waves and related cloudiness that affects incoming solar radiation. The main inputs from country based weather services are observations from devices (called radiosondes) in weather balloons that measure various atmospheric parameters and transmits them to a fixed receiver, as well as from weather satellites. The World Meteorological Organization acts to standardize the instrumentation, observing practices and timing of these observations worldwide. Stations either report hourly in METAR reports, or every six hours in SYNOP reports. These observations are irregularly spaced, so they are processed by data assimilation and objective analysis methods, which perform quality control and obtain values at locations usable by the model's mathematical algorithms. Some global models use finite differences, in which the world is represented as discrete points on a regularly spaced grid of latitude and longitude; other models use spectral methods that solve for a range of wavelengths. The data are then used in the model as the starting point for a forecast. A variety of methods are used to gather observational data for use in numerical models. Sites launch radiosondes in weather balloons which rise through the troposphere and well into the stratosphere. Information from weather satellites is used where traditional data sources are not available. Commerce provides pilot reports along aircraft routes and ship reports along shipping routes. Research projects use reconnaissance aircraft to fly in and around weather systems of interest, such as tropical cyclones. Reconnaissance aircraft are also flown over the open oceans during the cold season into systems which cause significant uncertainty in forecast guidance, or are expected to be of high impact from three to seven days into the future over the downstream continent. Sea ice began to be initialized in forecast models in 1971. Efforts to involve sea surface temperature in model initialization began in 1972 due to its role in modulating weather in higher latitudes of the Pacific.

История

В 1922 году Льюис Фрай Ричардсон опубликовал первую попытку численного прогнозирования погоды. Используя гидростатическую вариацию примитивных уравнений Бьеркнеса, Ричардсон вручную выполнил 6-часовой прогноз состояния атмосферы в двух точках Центральной Европы, на что потребовалось не менее шести недель. Его прогноз рассчитал изменение давления на поверхности в , что является нереалистичным значением, ошибающимся на два порядка величины. Большая ошибка была вызвана дисбалансом в полях давления и скорости ветра, использованных в качестве начальных условий в его анализе.

Другим значительным достижением в разработке методов 4DDA стало использование теории оптимального управления (вариационного подхода) в работах Ле Диме и Талагранда (1986), основанных на предыдущих работах Ж. Л. Лайонса и Г. Марчука, последний из которых первым применил эту теорию в моделировании окружающей среды. Значительным преимуществом вариационных подходов является то, что метеорологические поля удовлетворяют динамическим уравнениям модели NWP и одновременно минимизируют функционал, характеризующий их расхождение с наблюдениями. Таким образом, решается задача условной минимизации. Вариационные методы 3DDA были впервые разработаны Сасаки (1958). Как показал Лоренц (1986), все вышеупомянутые методы 4DDA в определенном пределе эквивалентны, то есть при определенных предположениях они минимизируют одну и ту же функцию стоимости. Однако в практических приложениях эти предположения никогда не выполняются, различные методы работают по-разному, и, как правило, неясно, какой подход (фильтр Калмана или вариационный) предпочтительнее. Фундаментальные вопросы также возникают при применении передовых методов DA, такие как сходимость вычислительного метода к глобальному минимуму минимизируемого функционала. Например, функция стоимости или множество, в котором ищется решение, могут быть невыпуклыми. Наиболее успешным методом 4DDA в настоящее время является гибридный инкрементальный 4D Var, в котором ансамбль используется для расширения ковариаций климатологической фоновой ошибки в начале временного окна ассимиляции данных, но ковариации фоновой ошибки изменяются в течение временного окна упрощенной версией модели прогноза NWP. Этот метод ассимиляции данных используется в центрах прогнозирования, таких как Метеоцентр.

Функция затрат

Процесс создания анализа в ассимиляции данных часто включает в себя минимизацию функционала стоимости. Типичный функционал стоимости представляет собой сумму квадратов расхождений между значениями анализа и наблюдениями, взвешенных на точность наблюдений, плюс сумму квадратов расхождений между полями прогноза и полями анализа, взвешенных на точность прогноза. Это обеспечивает, чтобы анализ не слишком сильно отклонялся от наблюдений и прогнозов, которые обычно считаются достоверными.

3D-Var

где обозначает ковариационную матрицу ошибок фона, а – ковариационную матрицу ошибок наблюдений.

4D-Var

при условии, что является линейным оператором (матрицей).

Контроль за передачей воды и энергии

[[Файл:ReSeDAssimilationDiagram.png|thumb|Общая схема ассимиляции данных (Alpilles ReSeDA) HAPEX Sahel,

эксперимент "Alpilles ReSeDA" (Ассимиляция данных дистанционного зондирования), европейский проект в рамках программы FP4 ENV, проходивший в регионе Альпиль, на юго-востоке Франции (1996–97 гг.). Диаграмма потока (справа), взятая из итогового отчета по проекту, показывает, как выводить переменные, представляющие интерес, такие как состояние растительного покрова, радиационные потоки, экологический бюджет, производство в количественном и качественном выражении, на основе данных дистанционного зондирования и вспомогательной информации. На этой диаграмме маленькие сине-зеленые стрелки указывают непосредственный путь, по которому фактически работают модели.

Другие приложения для прогнозирования

Методы ассимиляции данных в настоящее время также используются для решения других задач прогнозирования в области окружающей среды, например, в гидрологическом и гидрогеологическом прогнозировании. Байесовские сети также могут применяться в рамках подхода к ассимиляции данных для оценки природных опасностей, таких как оползни. Ввиду обилия данных, полученных с космических аппаратов для других планет Солнечной системы, ассимиляция данных теперь также применяется за пределами Земли для получения повторных анализов состояния атмосферы внеземных планет. На данный момент ассимиляция данных была применена только к Марсу. Доступные данные космических аппаратов включают, в частности, результаты извлечения температуры и оптической толщины пыли, воды и льда, полученные с помощью спектрометра теплового излучения на борту Mars Global Surveyor (НАСА) и марсианского климатического зонда на борту Mars Reconnaissance Orbiter (НАСА). К этим наборам данных были применены два метода ассимиляции данных: схема коррекции анализа и две схемы фильтра ансамбля Калмана, обе использующие глобальную модель циркуляции марсианской атмосферы в качестве прямой модели. Набор данных MACDA (Mars Analysis Correction Data Assimilation) находится в открытом доступе в Британском центре атмосферных данных. Ассимиляция данных является неотъемлемой частью решения любой задачи прогнозирования. Работа с систематически смещенными данными представляет собой серьезную проблему при ассимиляции данных. Дальнейшая разработка методов борьбы со смещениями будет особенно полезной. Если несколько инструментов наблюдают одну и ту же переменную, то их сопоставление с использованием функций распределения вероятностей может быть полезным. Численные модели прогноза становятся все более детализированными благодаря увеличению вычислительной мощности, и оперативные атмосферные модели теперь работают с горизонтальным разрешением порядка 1 км (например, в Немецкой национальной метеорологической службе Deutscher Wetterdienst (DWD) и Met Office в Великобритании). Это увеличение горизонтального разрешения начинает позволять более точно моделировать хаотичные особенности нелинейных моделей, например, разрешать конвекцию в масштабе сетки или облака в атмосферных моделях. Эта возрастающая нелинейность в моделях и операторах наблюдений создает новую проблему для ассимиляции данных. Существующие методы ассимиляции данных, такие как различные варианты фильтров ансамбля Калмана и вариационные методы, хорошо зарекомендовавшие себя при работе с линейными или почти линейными моделями, оцениваются на нелинейных моделях. Разрабатывается множество новых методов, например, фильтры частиц для задач высокой размерности и гибридные методы ассимиляции данных. Другие области применения включают оценку траекторий для программы "Аполлон", GPS и химию атмосферы.

Data assimilation methods are currently also used in other environmental forecasting problems, e. g. in hydrological and hydrogelogical forecasting. Bayesian networks may also be used in a data assimilation approach to assess natural hazards such as landslides. Given the abundance of spacecraft data for other planets in the solar system, data assimilation is now also applied beyond the Earth to obtain re analyses of the atmospheric state of extraterrestrial planets. Mars is the only extraterrestrial planet to which data assimilation has been applied so far. Available spacecraft data include, in particular, retrievals of temperature and dust/water/ice optical thicknesses from the Thermal Emission Spectrometer onboard NASA's Mars Global Surveyor and the Mars Climate Sounder onboard NASA's Mars Reconnaissance Orbiter. Two methods of data assimilation have been applied to these datasets: an Analysis Correction scheme and two Ensemble Kalman Filter schemes, both using a global circulation model of the martian atmosphere as forward model. The Mars Analysis Correction Data Assimilation (MACDA) dataset is publicly available from the British Atmospheric Data Centre. Data assimilation is a part of the challenge for every forecasting problem. Dealing with biased data is a serious challenge in data assimilation. Further development of methods to deal with biases will be of particular use. If there are several instruments observing the same variable then intercomparing them using probability distribution functions can be instructive. The numerical forecast models are becoming of higher resolution due to the increase of computational power, with operational atmospheric models now running with horizontal resolutions of order of 1 km (e. g. at the German National Meteorological Service, the Deutscher Wetterdienst (DWD) and Met Office in the UK). This increase in horizontal resolutions is starting to allow to resolve more chaotic features of the non linear models, e. g. to resolve convection on the grid scale, or clouds, in the atmospheric models. This increasing non linearity in the models and observation operators poses a new problem in the data assimilation. The existing data assimilation methods such as many variants of ensemble Kalman filters and variational methods, well established with linear or near linear models, are being assessed on non linear models. Many new methods are being developed, e. g. particle filters for high dimensional problems, and hybrid data assimilation methods. Other uses include trajectory estimation for the Apollo program, GPS, and atmospheric chemistry.