Динамикалық деректермен басқарылатын жүйелер: Модельдеу және талдаудың жаңа тәсілі

Кіріспе

Динамикалық деректермен басқарылатын қолданбалар жүйесі (ДДДС) – бұл қолданба жүйесінің есептеу және аспаптау аспектілерінің кері байланыс басқару циклымен динамикалық интеграцияланған парадигма. Бұл ретте аспаптау деректері қолданбаның орындалу моделіне динамикалық түрде енгізілуі мүмкін. Мақсаты – модельдеуді жылдамдату үшін есептеулердің бір бөлігін ауыстыру немесе жүйенің модельде жақсы көрсетілмеген аспектілері үшін модельдің дәлдігін арттыру (проблеманың фазалық кеңістігінің белгілі бір бөлігінде). Мұны модельдің осындай динамикалық деректерден «оқуы» деп қарастыруға болады. Керісінше, орындалу моделі жүйенің аспаптарын қосымша деректерді (немесе архивтік деректерді іздеу арқылы) бірауыздан және бейімделіп алу үшін басқара алады, бұл модельдеу процесін жақсартуға немесе жылдамдатуға мүмкіндік береді. ДДДС-қа негізделген тәсілдер жүйенің сипаттамалары мен мінез-құлқын дәлірек және жылдам модельдеуге және талдауға, сондай-ақ деректерді жаңа мүмкіндіктерге айналдыру үшін интеллектуалды жолдармен пайдалануға мүмкіндік беретіні көрсетілді. Бұларға толық масштабтағы модельдеудің дәлдігімен шешімдерді қолдау жүйелері, күрделі аспаптарды модельдік адаптивті басқару (гетерогенді сенсорлар мен контроллерлердің көпшілігі бойынша адаптивті үйлестіруді қоса алғанда), тиімді деректерді жинау, басқару және деректерді өндіру кіреді. ДДДС парадигмасының күші – бұл динамикалық бейімделуге және жүйелік танылымға ие модельді (мысалы, жүйенің физикасын немесе жүйенің басқа да қасиеттері мен бейнелерін білетін модель) қамтуында. Бұл модель орындалу уақытында «динамикалық деректерді» енгізу арқылы «үйреніп» және бейімделеді, жалған деректерді анықтай алады және дәстүрлі машиналық оқыту тәсілдерінің кемшіліктерінен аулақ болады. Сонымен қатар, ДДДС «деректерді талдауға» қарағанда «жүйелер аналитикасы» үшін дәлірек және жылдам модельдеу мен талдауды қамтамасыз етеді. ДДДС есептеу және аспаптау жүйелері кешенді жүйелік сипаттамалардан басқа, танымал бейнелеулер мен модельдерді, бағдарламалық және аппараттық (компьютерлік және аспаптық) платформалар архитектураларын және қызметтерін қамтиды, сондай-ақ кешенді жүйелерге қатысты адамның қатысуын да қамти алады. ДДДС-қа негізделген тәсілдер жүйелерді модельдеу және аспаптау, сондай-ақ көптеген салаларда автономиялық мүмкіндіктерге жаңа мүмкіндіктерді көрсетті. Бұларға материалдардың қасиеттерін зерттеу (мысалы, наноматериалдар), құрылымдық және азаматтық инженерия (мысалы, ақылды ғимараттар), аэроғарыш, өндіріс (процесті жоспарлау және басқару; қосымша өндіріс), көлік жүйелері, энергетикалық жүйелер (мысалы, ақылды электр желілері), экология (мысалы, орман өрттері), ауа райы (атмосфералық және ғарыштық), медициналық диагностика және емдеу, бұлтты есептеу, IoT, байланыс жүйелері, киберқауіпсіздік және тағы да басқалары жатады. ДДДС сайтында ДДДС парадигмасының кең ауқымды жұмыстары мен әсері туралы сілтемелер бар.

Dynamic Data Driven Applications Systems ("DDDAS") is a paradigm whereby the computation and instrumentation aspects of an application system are dynamically integrated with a feedback control loop, in the sense that instrumentation data can be dynamically incorporated into the executing model of the application (in targeted parts of the phase space of the problem to either replace parts of the computation to speed up the modeling or to make the model more accurate for aspects of the system not well represented by the model; this can be considered as the model "learning" from such dynamic data inputs), and in reverse the executing model can control the system's instrumentation to cognizantly and adaptively acquire additional data (or search through archival data), which in turn can improve or speedup the model (modeling process). DDDAS based approaches have been shown that they can enable more accurate and faster modeling and analysis of the characteristics and behaviors of a system and can exploit data in intelligent ways to convert them to new capabilities, including decision support systems with the accuracy of full scale modeling, executing model driven adaptive management of complex instrumentation (including adaptive coordination across multitudes of heterogeneous sensors and controllers), as well as efficient data collection, management, and data mining. The power of the DDDAS paradigm is that it involves a dynamically adapting and system cognizant model (for example a model cognizant of the physics of the system, or other inherent characteristics and representations of the system), which "learns" and adapts through the "dynamic data" inputs at execution time, can discern false data and avoids the pitfalls of traditional Machine Learning approaches which can go rogue. Moreover, unlike ML methods, DDDAS enables more accurate and faster modeling and analysis, for "systems analytics" rather than simply "data analytics", and the DDDAS computational and instrumentation frameworks, include in addition to comprehensive system characteristics cognizant representations and models, software and hardware (computational and instrumentation) platforms architectures and services, and can also include the human in the loop, as complex systems typically involve. DDDAS based approaches have demonstrated new capabilities in systems modeling and instrumentation, as well as autonomic capabilities in many areas, ranging from fundamental studies in materials properties (e. g., nanomaterials), to structural and civil engineering (e. g., smart buildings) and aerospace, to manufacturing (process planning and control; additive manufacturing), transportation systems, energy systems (e. g., smart powergrids), environmental (e. g., wildfires), weather (atmospheric and space), medical diagnosis and treatment, cloud computing, IoT, and communications systems, cybersecurity, and more. The DDDAS site contains links on the extensive work and impact of the DDDAS paradigm.

Тарих

DDDAS тұжырымдамасы және термин 1980 жылдардың басында және 1990 жылдарға дейін Frederica Darema ұсынған. DDDAS форумдары мен басқа да шаралардың толық тізімі DDDAS сайтында берілген.

Қарым-қатынас ұғымдары

DDDAS-қа негізделген тәсілдер, бұрынғы жылдары ұсынылған, бірақ шектеулі бірнеше байланысты түсініктерге қарағанда, прогрестік қадам болып табылады. Бұл түсініктер жүйенің жұмыс істейтін моделі мен оның құралдары арасындағы кері байланыс бақылауының толыққанды және қуатты DDDAS парадигмасының ішкі жиындары болып табылады. Төменде нақты мысалдар келтірілген. 1980-1990 жылдардағы оқу әдістері және DDDAS-тың "сипатына" ұқсас Reinforcement Learning (1990 жылдардың ортасынан бастап), бұл тәсілдерде зерттеліп отырған жүйенің (қолданбаның) толыққанды моделі болмайды, сондай-ақ DDDAS-тағыдай жүйе құралдарын бақылау да жоқ. Деректерді ассимиляциялау тұжырымдамасы, онда бақылау деректері есептелген деректер нүктелеріндегі (модельдегі физикалық параметрдің есептелген векторы) белгісіздікті түзету және шектеу үшін қолданылады, DDDAS тұжырымдамасынан кемірек мүмкіндіктерге ие, себебі DDDAS-та динамикалық деректер кірістері тордың бөлігін және бірнеше параметрлерді алмастыра алады. Сонымен қатар, DDDAS кері байланыс басқару циклының кері жағы – яғни, құралдарды адаптивті түрде басқаратын модель, кейінірек Деректерді ассимиляциялау тұжырымдамасымен қабылданады, мысалы, 1999 жылғы MIT диссертациясындағы «Деректерді ассимиляциялау және адаптивті байқау» жұмысы, онда дәстүрлі деректерді ассимиляциялаудың жетістіктері талқыланады, сондай-ақ болжамдарды пайдалану арқылы ассимиляциялау жүйесіне интеграцияланған қосымша мақсатты байқаулар туралы идеялар ұсынылады және олардың белгісіздіктері қарастырылады. Аталған жұмыста талқыланған тәсілдер статикалық, адамның циклдегі есептеулік басқаруына ұқсас, байқау аспектісіне қолданылады. DDDAS әдістері құралдарды басқаруда 1950-1970 жылдар аралығында Чертоффтың «Эксперименттердің реттік дизайны» және Федоровтың «Эксперименттердің дизайны» (1970 жылдар) сияқты дәстүрлі идеялардан асып түседі, онда эксперименттер параметрлерді анықтайды және параметрлер эксперименттерге бағыт береді, соның ішінде деректер мен модельдерді таңдау үшін. Бұл тәсілдер – циклдегі адамның классикалық тізбекті тәсілдері, олар қолданылатын модельдерді және жүргізілетін эксперименттерді анықтап, процесті қайталайды. MacKay-дің 1991 жылғы «Ақпарат негізіндегі белсенді деректерді таңдау» жұмысында үміткер өлшемдердің күтілетін ақпараттылығын анықтау үшін Байес әдістері қолданылады. Ал, 1990 жылдардағы «Ақпаратты іздеу» жүйесінде сұраныстар іздеулерді тудырады, ал нәтижелер сұраныстарды өзектілік туралы кері байланыспен жетілдіреді.

DDDAS based approaches advance the state of the art over a number of somewhat related but more limited concepts, which have been proposed over preceding years, and which are subsets of the more comprehensive and powerful DDDAS paradigm of feedback control between an executing model of a system with its instrumentation. Below are some indicative examples. Learning methods (starting in the 1980s and 1990s) and concepts like Reinforcement Learning (starting in the mid 1990s), which has the "flavor" of DDDAS, nevertheless, in these approaches there is no underlying system cognizant, comprehensive model of the system(application) under study, nor there is control of the system instrumentation, like in DDDAS. The data assimilation concept where observation data are used to correct and constrain uncertainty in computed data points (computed vector of a physical parameter in the model) is more limited than the DDDAS concept where the dynamic data inputs can replace a patch of the mesh and for multiple parameters. Moreover, the reverse aspect in the DDDAS feedback control loop – that is the model adaptively controlling the instrumentation, this was also adopted later by the Data Assimilation concept, for example, the Data Assimilation and Adaptive Observation, MIT Thesis in 1999, which discusses advances to traditional data assimilation, the ideas presented there on integrated supplementary targeted observations into the assimilation system using forecasts and their uncertainties the approaches discussed there in are static, akin to human in the loop computational steering, applied to the observational aspect. DDDAS approaches in controlling instrumentation are beyond the traditional ideas presented in the late 1950s to 1970s, such as by Chertoff on Sequential Design of Experiments, and by Fedorov on Design of Experiments (1970s), where the experiments determine the parameters and the parameters guide the experiments, including for data and model selection these approaches are the classical serialized approaches of the human in the loop determining statically what models to use and what experiments to conduct and repeat the process. MacKay's Information based Active Data Selection (1991) employs Bayesian methods to determine expected informativeness of candidate measurements is used to select salient ones for learning, improving the expected informativeness. And, Information Retrieval (in the 90s), where queries generate searches, and the results refine the queries with relevance feedback.