Динамические системы управления данными и моделями

Введение

Динамические системы приложений, управляемые данными (DDDAS) – это парадигма, в которой вычислительные и инструментальные аспекты прикладной системы динамически интегрируются с контуром обратной связи, в том смысле, что данные приборов могут динамически включаться в выполняющуюся модель приложения (в целевых областях фазового пространства задачи, чтобы либо заменить части вычислений для ускорения моделирования, либо повысить точность модели для аспектов системы, недостаточно хорошо представленных в модели; это можно рассматривать как "обучение" модели на основе таких динамических входных данных), и, наоборот, выполняющаяся модель может управлять инструментарием системы для осознанного и адаптивного сбора дополнительных данных (или поиска в архивных данных), что, в свою очередь, может улучшить или ускорить модель (процесс моделирования). Подходы на основе DDDAS показали, что они позволяют проводить более точное и быстрое моделирование и анализ характеристик и поведения системы, а также интеллектуально использовать данные для преобразования их в новые возможности, включая системы поддержки принятия решений с точностью полномасштабного моделирования, адаптивное управление сложным инструментарием (включая адаптивную координацию между множеством разнородных датчиков и контроллеров), а также эффективный сбор, управление и анализ данных. Суть парадигмы DDDAS заключается в использовании динамически адаптирующейся и осознающей систему модели (например, модели, учитывающей физику системы или другие присущие характеристики и представления системы), которая "обучается" и адаптируется посредством входных данных "динамических данных" во время выполнения, способна выявлять ложные данные и избегать рисков, связанных с традиционными подходами машинного обучения, которые могут выйти из-под контроля. Более того, в отличие от методов машинного обучения, DDDAS обеспечивает более точное и быстрое моделирование и анализ для "аналитики систем", а не просто "аналитики данных", а вычислительные и инструментальные фреймворки DDDAS включают, помимо всесторонних характеристик системы и осознающих ее представлений и моделей, программные и аппаратные (вычислительные и инструментальные) платформы, архитектуры и сервисы, а также могут включать человека в контур управления, что типично для сложных систем. Подходы на основе DDDAS продемонстрировали новые возможности в моделировании и инструментарии систем, а также автономные возможности во многих областях, начиная от фундаментальных исследований свойств материалов (например, наноматериалов), до строительной и гражданской инженерии (например, "умных" зданий) и аэрокосмической отрасли, до производства (планирование и управление процессами; аддитивное производство), транспортных систем, энергетических систем (например, "умных" энергосетей), экологических систем (например, лесных пожаров), метеорологии (атмосферной и космической), медицинской диагностики и лечения, облачных вычислений, Интернета вещей и систем связи, кибербезопасности и многого другого. На сайте DDDAS представлены ссылки на обширные работы и результаты, демонстрирующие влияние парадигмы DDDAS.

Dynamic Data Driven Applications Systems ("DDDAS") is a paradigm whereby the computation and instrumentation aspects of an application system are dynamically integrated with a feedback control loop, in the sense that instrumentation data can be dynamically incorporated into the executing model of the application (in targeted parts of the phase space of the problem to either replace parts of the computation to speed up the modeling or to make the model more accurate for aspects of the system not well represented by the model; this can be considered as the model "learning" from such dynamic data inputs), and in reverse the executing model can control the system's instrumentation to cognizantly and adaptively acquire additional data (or search through archival data), which in turn can improve or speedup the model (modeling process). DDDAS based approaches have been shown that they can enable more accurate and faster modeling and analysis of the characteristics and behaviors of a system and can exploit data in intelligent ways to convert them to new capabilities, including decision support systems with the accuracy of full scale modeling, executing model driven adaptive management of complex instrumentation (including adaptive coordination across multitudes of heterogeneous sensors and controllers), as well as efficient data collection, management, and data mining. The power of the DDDAS paradigm is that it involves a dynamically adapting and system cognizant model (for example a model cognizant of the physics of the system, or other inherent characteristics and representations of the system), which "learns" and adapts through the "dynamic data" inputs at execution time, can discern false data and avoids the pitfalls of traditional Machine Learning approaches which can go rogue. Moreover, unlike ML methods, DDDAS enables more accurate and faster modeling and analysis, for "systems analytics" rather than simply "data analytics", and the DDDAS computational and instrumentation frameworks, include in addition to comprehensive system characteristics cognizant representations and models, software and hardware (computational and instrumentation) platforms architectures and services, and can also include the human in the loop, as complex systems typically involve. DDDAS based approaches have demonstrated new capabilities in systems modeling and instrumentation, as well as autonomic capabilities in many areas, ranging from fundamental studies in materials properties (e. g., nanomaterials), to structural and civil engineering (e. g., smart buildings) and aerospace, to manufacturing (process planning and control; additive manufacturing), transportation systems, energy systems (e. g., smart powergrids), environmental (e. g., wildfires), weather (atmospheric and space), medical diagnosis and treatment, cloud computing, IoT, and communications systems, cybersecurity, and more. The DDDAS site contains links on the extensive work and impact of the DDDAS paradigm.

История

Концепция и термин DDDAS были предложены Фредерикой Даремой в начале 1980-х годов и в течение 1990-х. Более полный список форумов DDDAS и других мероприятий можно найти на сайте DDDAS.

Связанные понятия

Подходы на основе DDDAS продвигают современные технологии по сравнению с рядом связанных, но более ограниченных концепций, предложенных в предшествующие годы, которые являются подмножествами более всеобъемлющей и мощной парадигмы DDDAS – управления обратной связью между исполняемой моделью системы и ее инструментами. Ниже приведены некоторые примеры. Методы обучения (начавшиеся в 1980-х и 1990-х годах) и концепции, такие как обучение с подкреплением (Reinforcement Learning, начавшееся в середине 1990-х годов), которые имеют некоторое сходство с DDDAS, тем не менее, в этих подходах отсутствует фундаментальная, всеобъемлющая модель изучаемой системы (приложения), осознающая ее состояние, а также отсутствует контроль над инструментами системы, как это реализовано в DDDAS. Концепция ассимиляции данных, в которой данные наблюдений используются для коррекции и ограничения неопределенности в вычисленных точках данных (вычисленный вектор физического параметра в модели), более ограничена, чем концепция DDDAS, где динамические входные данные могут заменить фрагмент сетки и использоваться для нескольких параметров. Более того, обратный аспект в цикле управления обратной связью DDDAS – адаптивное управление инструментами со стороны модели – был позднее воспринят концепцией ассимиляции данных, например, в дипломной работе MIT 1999 года, посвященной ассимиляции данных и адаптивному наблюдению, где обсуждаются усовершенствования традиционной ассимиляции данных и представлены идеи об интегрировании дополнительных целевых наблюдений в систему ассимиляции с использованием прогнозов и их неопределенностей. Подходы, обсуждаемые там, являются статическими и напоминают ручное управление вычислениями с участием человека, применяемое к аспекту наблюдений. Подходы DDDAS к управлению инструментами превосходят традиционные идеи, представленные в конце 1950-х – 1970-х годах, например, работы Чертова о последовательном проектировании экспериментов и Федорова о проектировании экспериментов (1970-е годы), где эксперименты определяют параметры, а параметры направляют эксперименты, включая выбор данных и моделей. Эти подходы представляют собой классические последовательные методы, при которых человек в цикле статически определяет, какие модели использовать и какие эксперименты проводить, а затем повторяет процесс. В работе Маккея «Активный выбор данных на основе информации» (1991) используются байесовские методы для определения ожидаемой информативности потенциальных измерений, что позволяет выбирать наиболее значимые для обучения и повышения ожидаемой информативности. Также, информационный поиск (Information Retrieval) в 1990-х годах, где запросы генерируют результаты поиска, а результаты уточняют запросы с использованием обратной связи о релевантности.

DDDAS based approaches advance the state of the art over a number of somewhat related but more limited concepts, which have been proposed over preceding years, and which are subsets of the more comprehensive and powerful DDDAS paradigm of feedback control between an executing model of a system with its instrumentation. Below are some indicative examples. Learning methods (starting in the 1980s and 1990s) and concepts like Reinforcement Learning (starting in the mid 1990s), which has the "flavor" of DDDAS, nevertheless, in these approaches there is no underlying system cognizant, comprehensive model of the system(application) under study, nor there is control of the system instrumentation, like in DDDAS. The data assimilation concept where observation data are used to correct and constrain uncertainty in computed data points (computed vector of a physical parameter in the model) is more limited than the DDDAS concept where the dynamic data inputs can replace a patch of the mesh and for multiple parameters. Moreover, the reverse aspect in the DDDAS feedback control loop – that is the model adaptively controlling the instrumentation, this was also adopted later by the Data Assimilation concept, for example, the Data Assimilation and Adaptive Observation, MIT Thesis in 1999, which discusses advances to traditional data assimilation, the ideas presented there on integrated supplementary targeted observations into the assimilation system using forecasts and their uncertainties the approaches discussed there in are static, akin to human in the loop computational steering, applied to the observational aspect. DDDAS approaches in controlling instrumentation are beyond the traditional ideas presented in the late 1950s to 1970s, such as by Chertoff on Sequential Design of Experiments, and by Fedorov on Design of Experiments (1970s), where the experiments determine the parameters and the parameters guide the experiments, including for data and model selection these approaches are the classical serialized approaches of the human in the loop determining statically what models to use and what experiments to conduct and repeat the process. MacKay's Information based Active Data Selection (1991) employs Bayesian methods to determine expected informativeness of candidate measurements is used to select salient ones for learning, improving the expected informativeness. And, Information Retrieval (in the 90s), where queries generate searches, and the results refine the queries with relevance feedback.