Сандық модельді байқау деректерімен жаңарту әдістемесі

Кіріспе

Сандық модельді бақыланған деректермен жаңарту техникасы

Деректерді ассимиляциялау – теорияны (әдетте сандық модель түрінде) байқаулармен оңтайлы біріктіруге ұмтылатын математикалық ғылым. Мүмкін болатын мақсаттар көп: жүйенің оңтайлы күйін анықтау, сандық болжау моделі үшін бастапқы шарттарды белгілеу, байқалатын жүйенің (мысалы, физикалық) білімін пайдалана отырып, сирек байқау деректерін интерполяциялау, бақыланған деректер бойынша модельді оқыту арқылы сандық параметрлерді орнату. Мақсатқа байланысты әртүрлі шешім әдістері қолданылуы мүмкін. Деректерді ассимиляциялау, өзге машиналық оқыту түрлерінен, кескіндерді талдаудан және статистикалық әдістерден талдау жүргізіліп жатқан жүйенің динамикалық моделін пайдалану арқылы ерекшеленеді. Деректерді ассимиляциялау бастапқыда сандық ауа-райы болжау саласында дамыды. Сандық ауа-райы болжау модельдері – атмосфераның динамикалық мінез-құлқын сипаттайтын теңдеулер, олар көбінесе компьютерлік бағдарламаға енгізіледі. Бұл модельдерді болжам жасау үшін атмосфераның қазіргі күйіне жақын бастапқы шарттар қажет. Сандық модельдерге жай ғана нүктелік өлшемдерді енгізу қанағаттанарлық нәтиже бермеді. Шын дүниедегі өлшемдер аспаптың сапасы мен өлшеу орнының дәлдігіне байланысты қателерге ұшырайды. Бұл қателер модельдерде тұрақсыздық тудырып, болжамның дұрыстығын жояды. Сондықтан, сандық модельдің тұрақтылығын сақтай отырып, барлық қолжетімді деректерді пайдалана отырып, модельді бастау үшін күрделі әдістер қажет болды. Мұндай деректерге өлшемдермен қатар, өлшемдер жасалған уақытта қолданыстағы болжам да кіреді. Егер бұл процесс итеративті түрде қолданылса, ол өткен байқаулардан алынған ақпаратты барлық келесі болжамдарға жинақтай бастайды. Деректерді ассимиляциялау сандық ауа-райы болжау саласынан дамығандықтан, бастапқыда геология ғылымдарында кең таралды. Шындығында, геология ғылымдарындағы ең көп сілтеме жасалған жарияланымдардың бірі – атмосфераның байқау тарихын қайта құру үшін деректерді ассимиляциялаудың қолданылуы.

Data assimilation is a mathematical discipline that seeks to optimally combine theory (usually in the form of a numerical model) with observations. There may be a number of different goals sought – for example, to determine the optimal state estimate of a system, to determine initial conditions for a numerical forecast model, to interpolate sparse observation data using (e. g. physical) knowledge of the system being observed, to set numerical parameters based on training a model from observed data. Depending on the goal, different solution methods may be used. Data assimilation is distinguished from other forms of machine learning, image analysis, and statistical methods in that it utilizes a dynamical model of the system being analyzed. Data assimilation initially developed in the field of numerical weather prediction. Numerical weather prediction models are equations describing the dynamic behavior of the atmosphere, typically coded into a computer program. In order to use these models to make forecasts, initial conditions are needed for the model that closely resemble the current state of the atmosphere. Simply inserting point wise measurements into the numerical models did not provide a satisfactory solution. Real world measurements contain errors both due to the quality of the instrument and how accurately the position of the measurement is known. These errors can cause instabilities in the models that eliminate any level of skill in a forecast. Thus, more sophisticated methods were needed in order to initialize a model using all available data while making sure to maintain stability in the numerical model. Such data typically includes the measurements as well as a previous forecast valid at the same time the measurements are made. If applied iteratively, this process begins to accumulate information from past observations into all subsequent forecasts. Because data assimilation developed out of the field of numerical weather prediction, it initially gained popularity amongst the geosciences. In fact, one of the most cited publication in all of the geosciences is an application of data assimilation to reconstruct the observed history of the atmosphere.

Деректерді ассимиляциялау процесінің егжей-тегжейі

Классикалық түрде деректерді ассимиляциялау, қарапайым экстраполяция әдістерін қолдану арқылы болжау өте қиын хаотикалық динамикалық жүйелерге қолданылған. Бұл қиындықтың себебі, бастапқы шарттардағы шағын өзгерістер болжаудың дәлдігіне үлкен өзгерістер әкелуі мүмкін. Бұл кейде «көбелек эффектісі» деп аталады – бастапқы шарттарға сезімтал тәуелділік, онда детерминистік сызықтық емес жүйенің бір күйіндегі шағын өзгеріс кейінгі күйде үлкен айырмашылықтарға алып келуі мүмкін. Кез келген жаңарту сәтінде деректерді ассимиляциялау әдетте болжамды (сондай-ақ, алғашқы болжау немесе фонолық ақпарат деп те аталады) қабылдайды және байқалған деректер жиынтығы мен байқаулардың және болжамның өзіндегі бағаланған қателерге негізделген түзетутерді қолданады. Болжам мен байқаулар арасындағы айырмашылық сол сәттегі «ауытқу» немесе «жаңалық» деп аталады (өйткені ол деректерді ассимиляциялау процесіне жаңа ақпарат ұсынады). Жаңалыққа салмақ коэффициенті қолданылады, бұл байқаулардан алынған жаңа ақпаратқа негізделген болжамды қанша түзету керектігін анықтайды. Салмақ коэффициенті мен жаңалықтың көбейтіндісі арқылы анықталған түзетулерге сүйенетін жүйенің күйінің ең жақсы бағасы «талдау» деп аталады. Бір өлшемде талдауды есептеу болжамдалған және байқалған мәннің салмақталған орташасын есептеудей қарапайым болуы мүмкін. Көп өлшемділікте мәселе күрделене түседі. Деректерді ассимиляциялау жұмысының көп бөлігі жүйедегі қателер туралы терең білімге негізделген тиісті салмақ коэффициентін дұрыс бағалауға бағытталған. Өлшемдер әдетте модельдің жүйенің толық емес бейнесінен гөрі нақты әлемдегі жүйеден жасалады, сондықтан модельденген айнымалыны байқаумен тікелей салыстыруға болатын формаға түрлендіру үшін «байқау операторы» деп аталатын арнайы функция қажет (әдетте сызықтық емес оператор үшін h немесе оның сызықтық жақындауы үшін H арқылы белгіленеді).

Статистикалық бағалау ретінде деректерді ассимиляциялау

Матeматикалық философиялық көзқарастардың бірі деректерді ассимиляциялауды Байес бағалау мәселесі ретінде қарастыру болып табылады. Осы тұрғыдан алғанда, талдау қадамы Байес теоремасын қолдану болып табылады, ал жалпы ассимиляция процедурасы рекурсивті Байес бағалауының мысалы болып табылады. Дегенмен, ықтималдық талдау көбінесе есептеуге қолайлы формаға дейін жеңілдетіледі. Ықтималдық үлестірілімін уақыт бойынша дамыту, жалпы жағдайда Фоккер-Планк теңдеуі арқылы нақты түрде жүзеге асырылар еді, бірақ бұл жоғары өлшемді жүйелер үшін мүмкін емес; сондықтан ықтималдық үлестірілімдерінің жеңілдетілген нұсқаларында жұмыс жасайтын әртүрлі жуықтаулар қолданылады. Көбінесе ықтималдық үлестірілімдері Гаусс екендігі болжайды, осылайша оларды орташа және ковариация арқылы көрсетуге болады, бұл Калман сүзгісіне алып келеді. Көптеген әдістер ықтималдық үлестірілімдерін тек орташа мәнімен және алдын ала есептелген ковариацияны енгізу арқылы көрсетеді. Мұны есептеуге арналған тікелей (немесе реттік) әдістің мысалы – оптималды статистикалық интерполяция, немесе жай ғана оптималды интерполяция (ОИ) деп аталады. Баламалы тәсіл – бірдей мәселені шешетін шығын функциясын итеративті шешу. Бұлар вариациялық әдістер деп аталады, мысалы 3D Var және 4D Var. Типикалық минимизация алгоритмдері – конъюгациялық градиент әдісі немесе жалпыланған минималды қалдық әдісі. Ансамбльді Калман сүзгісі – Монте-Карло әдісін қолданатын реттік әдіс, ол модельдеу ансамблі арқылы Гаусс ықтималдық үлестірімінің орташа мәні мен ковариациясын бағалауға мүмкіндік береді. Жақында ғана ансамбльдік тәсілдер мен вариациялық әдістердің гибридтік комбинациялары кеңінен таралды (мысалы, олар Еуропалық орташа мерзімдік ауа-райы болжамдау орталығында (ECMWF) және NOAA Ұлттық қоршаған ортаны болжау орталығында (NCEP) операциялық болжамдар үшін қолданылады).

Мәліметтерді модель жаңарту ретінде қабылдау

Деректерді ассимиляциялау модельді жаңарту циклы ішінде де жүзеге асырылуы мүмкін, онда байқалған деректерге сәйкес ету үшін бастапқы модельді (немесе бастапқы болжамды) оптимизация циклында қайталап жаңартамыз. Көптеген оптимизациялау әдістері бар және олардың бәрін модельді жаңарту үшін қолдануға болады. Мысалы, эволюциялық алгоритмдер гипотезаға тәуелсіз, бірақ есептеулерге көп шығын тудырады.

Ауа райы болжамын жасау

Сандық ауа райын болжау саласында деректерді ассимиляциялау – температура және атмосфералық қысым сияқты метеорологиялық айнымалылардың бақылауларын және бұрынғы болжамдарды сандық болжау модельдерін бастау үшін біріктіретін әдіс ретінде ең көп танылған.

Неліктен қажет

Атмосфера – сұйықтық. Сандық ауа райы болжамының идеясы – белгілі бір уақытта сұйықтықтың күйін өлшеу және сұйықтық динамикасы мен термодинамика теңдеулерін пайдаланып, болашақтағы бір уақытта сұйықтықтың күйін бағалау. Бастапқы шарттарды жасау үшін модельге бақылау деректерін енгізу процесі инициализация деп аталады. Құрлықта, жер бедері карталары атмосфералық айналымды модельдеуге көмектесу үшін қолданылады, сондай-ақ таудың төменгі беткейіндегі желдер, тау толқындары және кіріс күн сәулесіне әсер ететін бұлттылық сияқты ерекшеліктерді жақсырақ көрсету үшін қолданылады. Жергілікті ауа райы қызметтерінен түсетін негізгі деректер – ауа райы шарларындағы (радиозондтар деп аталады) құрылғылардан алынған бақылаулар, олар атмосфераның әртүрлі параметрлерін өлшейді және оларды бекітілген қабылдағышқа, сондай-ақ ауа райы спутниктеріне жібереді. Дүниежүзілік метеорологиялық ұйым бүкіл әлем бойынша аспаптарды, бақылау тәжірибелерін және осы бақылаулардың уақытын стандарттауға тырысады. Станциялар METAR есептерінде сағат сайын немесе SYNOP есептерінде әр алты сағат сайын хабарлайды. Бұл бақылаулар біркелкі орналаспағандықтан, олар деректерді ассимиляциялау және объективті талдау әдістерімен өңделеді, олар сапаны бақылайды және модельдің математикалық алгоритмдері қолдана алатын орналасқан жерлердегі мәндерді анықтайды. Кейбір жаһандық модельдер шекті айырмашылықтарды қолданады, онда әлем ендік және бойлық жүйелі түрде орналастырылған тордағы дискретті нүктелер ретінде бейнеленеді; ал басқа модельдер толқын ұзындығының диапазонын шешетін спектрлік әдістерді қолданады. Содан кейін бұл деректер модельде болжамның бастапқы нүктесі ретінде пайдаланылады. Сандық модельдерде пайдалану үшін бақылау деректерін жинау үшін әртүрлі әдістер қолданылады. Орталықтар ауа райы шарларында радиозондтарды тропосфера арқылы және стратосфераға дейін көтереді. Дәстүрлі дерек көздері болмаған жағдайларда ауа райы спутниктерінен алынған ақпарат пайдаланылады. Коммерциялық ұйымдар ұшқыштардың әуе бағыттары бойынша және кемелердің теңіз бағыттары бойынша есептерін ұсынады. Зерттеу жобалары тропикалық циклон сияқты қызығушылық тудыратын ауа райы жүйелерінде және олардың айналасында ұшу үшін барлау ұшақтарын пайдаланады. Барлау ұшақтары салқын маусымда ашық мұхиттар үстінен ауа райы болжамындағы белгісіздіктерді тудыратын немесе болашақтағы үш-жеті күн ішінде континенттік аймақтарға үлкен әсер ететін жүйелерге де ұшады. Теңіз мұзы 1971 жылы болжам модельдерінде инициализациялана бастады. Тынық мұхитының жоғары ендіктеріндегі ауа райына әсер ететіндіктен, 1972 жылы модельді инициализациялау кезінде теңіз бетінің температурасын ескеруге тырысулар басталды.

The atmosphere is a fluid. The idea of numerical weather prediction is to sample the state of the fluid at a given time and use the equations of fluid dynamics and thermodynamics to estimate the state of the fluid at some time in the future. The process of entering observation data into the model to generate initial conditions is called initialization. On land, terrain maps available at resolutions down to globally are used to help model atmospheric circulations within regions of rugged topography, in order to better depict features such as downslope winds, mountain waves and related cloudiness that affects incoming solar radiation. The main inputs from country based weather services are observations from devices (called radiosondes) in weather balloons that measure various atmospheric parameters and transmits them to a fixed receiver, as well as from weather satellites. The World Meteorological Organization acts to standardize the instrumentation, observing practices and timing of these observations worldwide. Stations either report hourly in METAR reports, or every six hours in SYNOP reports. These observations are irregularly spaced, so they are processed by data assimilation and objective analysis methods, which perform quality control and obtain values at locations usable by the model's mathematical algorithms. Some global models use finite differences, in which the world is represented as discrete points on a regularly spaced grid of latitude and longitude; other models use spectral methods that solve for a range of wavelengths. The data are then used in the model as the starting point for a forecast. A variety of methods are used to gather observational data for use in numerical models. Sites launch radiosondes in weather balloons which rise through the troposphere and well into the stratosphere. Information from weather satellites is used where traditional data sources are not available. Commerce provides pilot reports along aircraft routes and ship reports along shipping routes. Research projects use reconnaissance aircraft to fly in and around weather systems of interest, such as tropical cyclones. Reconnaissance aircraft are also flown over the open oceans during the cold season into systems which cause significant uncertainty in forecast guidance, or are expected to be of high impact from three to seven days into the future over the downstream continent. Sea ice began to be initialized in forecast models in 1971. Efforts to involve sea surface temperature in model initialization began in 1972 due to its role in modulating weather in higher latitudes of the Pacific.

Тарих

1922 жылы Льюис Фрай Ричардсон ауа райын сандық түрде болжаудың алғашқы талпынысын жариялады. Бьеркнес теңдеулерінің гидростатикалық түріне сүйене отырып, Ричардсон Орталық Еуропаның екі нүктесіндегі атмосфера күйінің 6 сағаттық болжамын қолмен жасады, бұл жұмысқа кем дегенде алты апта уақыт кетті. Оның болжамы бойынша жер бетіндегі қысымның өзгеруі , бұл екі рет шамадан тыс қате, шындыққа сай келмейтін мәнге тең болды. Осы үлкен қатеге себеп, оның талдауында бастапқы шарттар ретінде қолданылған қысым және жел жылдамдығы өрістерінің арасындағы тепе-теңдік болмауы болды. 4DDA әдістерін дамытудағы маңызды қадам – Ле Димет пен Талагранның (1986) жұмыстарындағы оптималды басқару теориясын (вариациялық тәсілді) пайдалану болды. Бұл теорияны қоршаған ортаны модельдеуде алғаш қолданған Ж.Л. Лайонс және Г. Марчук болды. Вариациялық тәсілдердің басты артықшылығы – метеорологиялық өрістер NWP моделінің динамикалық теңдеулерін қанағаттандырады және бір мезгілде байқаулармен салыстырғандағы айырмашылықтарын сипаттайтын функционалды азайтады. Осылайша, шектеулі азайту мәселесі шешіледі. 3DDA вариациялық әдістерін алғаш рет Сасаки (1958) әзірледі. Lorenc (1986) көрсеткендей, жоғарыда аталған 4DDA әдістерінің барлығы белгілі бір жағдайда эквивалентті, яғни, кейбір шарттар орындалғанда олар бірдей шығын функциясын азайтады. Дегенмен, практикалық қолданыста бұл шарттар көбінесе орындалмайды, әр түрлі әдістер әртүрлі нәтижелер береді және қандай тәсілдің (Калман сүзгісі немесе вариациялық) жақсырақ екені көбінесе белгісіз болады. Сонымен қатар, дамыған DA техникаларын қолдану кезінде, мысалы, есептеу әдісінің азайтылатын функционалдың жалпы минимумға жуықтасуы сияқты маңызды сұрақтар туындайды. Мысалы, шығын функциясы немесе шешім ізделетін жиынтық дөңес болмауы мүмкін. Қазіргі уақытта ең табысты 4DDA әдісі – гибридтік инкременттік 4D Var болып табылады. Онда ансамбль деректерді ассимиляциялау уақыт терезесінің басында климатологиялық фондық қателік ковариациясын кеңейту үшін қолданылады, бірақ фондық қателік ковариациясы уақыт терезесі ішінде NWP болжау моделінің жеңілдетілген нұсқасымен дамиды. Бұл деректерді ассимиляциялау әдісі Метеорологиялық қызмет сияқты болжау орталықтарында операциялық түрде қолданылады.

In 1922, Lewis Fry Richardson published the first attempt at forecasting the weather numerically. Using a hydrostatic variation of Bjerknes's primitive equations, Richardson produced by hand a 6 hour forecast for the state of the atmosphere over two points in central Europe, taking at least six weeks to do so. His forecast calculated that the change in surface pressure would be , an unrealistic value incorrect by two orders of magnitude. The large error was caused by an imbalance in the pressure and wind velocity fields used as the initial conditions in his analysis,

Another significant advance in the development of the 4DDA methods was utilizing the optimal control theory (variational approach) in the works of Le Dimet and Talagrand (1986), based on the previous works of J. L. Lions and G. Marchuk, the latter being the first to apply that theory in the environmental modeling. The significant advantage of the variational approaches is that the meteorological fields satisfy the dynamical equations of the NWP model and at the same time they minimize the functional, characterizing their difference from observations. Thus, the problem of constrained minimization is solved. The 3DDA variational methods were developed for the first time by Sasaki (1958). As was shown by Lorenc (1986), all the above mentioned 4DDA methods are in some limit equivalent, i. e. under some assumptions they minimize the same cost function. However, in practical applications these assumptions are never fulfilled, the different methods perform differently and generally it is not clear what approach (Kalman filtering or variational) is better. The fundamental questions also arise in application of the advanced DA techniques such as convergence of the computational method to the global minimum of the functional to be minimised. For instance, cost function or the set in which the solution is sought can be not convex. The 4DDA method which is currently most successful is hybrid incremental 4D Var, where an ensemble is used to augment the climatological background error covariances at the start of the data assimilation time window, but the background error covariances are evolved during the time window by a simplified version of the NWP forecast model. This data assimilation method is used operationally at forecast centres such as the Met Office.

Шығын функциясы

Деректерді ассимиляциялаудағы талдау жасау процесі көбінесе шығындар функциясын азайтуды қамтиды. Типтік шығындар функциясы – бақылаулардың қателігімен салмақталған талдау мәндерінің бақылаулардан ауытқуларының квадраттарының қосындысы, сондай-ақ болжам өрістерінің және талдау өрістерінің болжамның қателігімен салмақталған ауытқуларының квадраттарының қосындысы болып табылады. Бұл талдаудың әдетте сенімді болып саналатын бақылаулар мен болжамдардан тым қашықтамайтынына кепілдік береді.

3D-Var

мұнда – фондық қате ковариациясын, – бақылау қате ковариациясын білдіреді.

4D-Var

егер ол сызықтық оператор (матрица) болса.

Су мен энергия трансферттерін бақылау

«Alpilles ReSeDA» (Алыстан зондтау деректерін ассимиляциялау) эксперименті – Францияның оңтүстік-шығысындағы Альпиль аймағында (1996–1997) өткен FP4 ENV бағдарламасының еуропалық жобасы. Суреттегі ағын диаграммасы (оң жақта) жобаның қорытынды есебінен алынған және қашықтан зондтау деректері мен қосымша ақпарат негізінде жапырақ жағдайы, радиациялық ағындар, экологиялық бюджет, өнімнің саны мен сапасы сияқты маңызды айнымалыларды қалай анықтауға болатынын көрсетеді. Диаграммадағы көк-жасыл жебелер модельдердің тікелей жұмыс істеу жолын көрсетеді.

Басқа болжау қолданбалары

Деректерді ассимиляциялау әдістері қазіргі уақытта басқа экологиялық болжау мәселелерінде де қолданылады, мысалы, гидрологиялық және гидрогеологиялық болжамдарда. Байес желілері де деректерді ассимиляциялау тәсілі ретінде жер сілкінісі сияқты табиғи қауіптерді бағалау үшін пайдаланылуы мүмкін. Күн жүйесіндегі басқа планеталар туралы ғарыш кемелерінен алынған мол деректердің болуына байланысты, деректерді ассимиляциялау енді Жерден тыс планеталардың атмосфералық жағдайын қайта талдау үшін де қолданылуда. Марс – қазірге дейін деректерді ассимиляциялау қолданылған жалғыз ғарыш планетасы. Барлық қолжетімді ғарыш аппараттарының деректеріне, әсіресе NASA-ның Марс Глобал Сервейор аппаратындағы Термикалық эмиссиялық спектрометрден және NASA-ның Марс Риконнессанс Орбитеріндегі Марс климаттық зондынан алынған температура және шаң/су/мұздың оптикалық тығыздығы кіреді. Осы деректер жиынтығына деректерді ассимиляциялаудың екі әдісі қолданылды: талдауды түзету схемасы және екі Ансамбльді Калман сүзгісі схемасы, екеуі де Марс атмосферасының жаһандық айналым моделін тікелей модель ретінде пайдаланды. Марс талдау түзету деректерін ассимиляциялау (MACDA) деректер жиынтығы Британдық атмосфералық деректер орталығынан қолжетімді. Деректерді ассимиляциялау – кез келген болжам мәселесінің маңызды бөлігі. Бұрмаланған деректермен жұмыс істеу деректерді ассимиляциялаудағы күрделі мәселе болып табылады. Бұрмалауды жою әдістерін одан әрі дамыту ерекше пайдалы болады. Егер бір айнымалыны бірнеше құрал бақыласа, оларды ықтималдық таралым функцияларын пайдалану арқылы салыстыру пайдалы болуы мүмкін. Есептеу қуатының артуына байланысты сандық болжам модельдері жоғарырақ ажыратымдылыққа ие болып келеді, қазіргі операциялық атмосфералық модельдер шамамен 1 км көлденең ажыратымдылықпен жұмыс істейді (мысалы, Германияның ұлттық метеорологиялық қызметінде, Deutscher Wetterdienst (DWD) және Ұлыбританияның Met Office). Көлденең ажыратымдылықтың артуы сызықтық емес модельдердің көбірек хаостық ерекшеліктерін шешуге мүмкіндік бере бастады, мысалы, атмосфералық модельдерде тор масштабында конвекцияны немесе бұлттарды шешу. Модельдер мен бақылау операторларының өсіп келе жатқан сызықтық еместігі деректерді ассимиляциялауда жаңа мәселе тудырады. Сызықтық немесе дерлік сызықтық модельдермен жақсы қалыптасқан, көптеген Ансамбльді Калман сүзгілері және вариациялық әдістер сияқты қолданыстағы деректерді ассимиляциялау әдістері сызықтық емес модельдерде бағалануда. Көптеген жаңа әдістер әзірленуде, мысалы, жоғары өлшемді мәселелер үшін бөлшек сүзгілері және гибридтік деректерді ассимиляциялау әдістері. Басқа қолданылулары: Аполлон бағдарламасы үшін траекторияны бағалау, GPS және атмосфералық химия.

Data assimilation methods are currently also used in other environmental forecasting problems, e. g. in hydrological and hydrogelogical forecasting. Bayesian networks may also be used in a data assimilation approach to assess natural hazards such as landslides. Given the abundance of spacecraft data for other planets in the solar system, data assimilation is now also applied beyond the Earth to obtain re analyses of the atmospheric state of extraterrestrial planets. Mars is the only extraterrestrial planet to which data assimilation has been applied so far. Available spacecraft data include, in particular, retrievals of temperature and dust/water/ice optical thicknesses from the Thermal Emission Spectrometer onboard NASA's Mars Global Surveyor and the Mars Climate Sounder onboard NASA's Mars Reconnaissance Orbiter. Two methods of data assimilation have been applied to these datasets: an Analysis Correction scheme and two Ensemble Kalman Filter schemes, both using a global circulation model of the martian atmosphere as forward model. The Mars Analysis Correction Data Assimilation (MACDA) dataset is publicly available from the British Atmospheric Data Centre. Data assimilation is a part of the challenge for every forecasting problem. Dealing with biased data is a serious challenge in data assimilation. Further development of methods to deal with biases will be of particular use. If there are several instruments observing the same variable then intercomparing them using probability distribution functions can be instructive. The numerical forecast models are becoming of higher resolution due to the increase of computational power, with operational atmospheric models now running with horizontal resolutions of order of 1 km (e. g. at the German National Meteorological Service, the Deutscher Wetterdienst (DWD) and Met Office in the UK). This increase in horizontal resolutions is starting to allow to resolve more chaotic features of the non linear models, e. g. to resolve convection on the grid scale, or clouds, in the atmospheric models. This increasing non linearity in the models and observation operators poses a new problem in the data assimilation. The existing data assimilation methods such as many variants of ensemble Kalman filters and variational methods, well established with linear or near linear models, are being assessed on non linear models. Many new methods are being developed, e. g. particle filters for high dimensional problems, and hybrid data assimilation methods. Other uses include trajectory estimation for the Apollo program, GPS, and atmospheric chemistry.