Оқиғаларды өңдеу және күрделі оқиғаларды өңдеу: қазіргі заманғы технологиялар мен қолданылуы

Кіріспе

Оқиғаларды өңдеу – бұл оқиғалар туралы ақпараттың (деректердің) ағындарын қадағалау және талдау (өңдеу) әдісі, сондай-ақ олардан қорытынды шығару. Кешенді оқиғаларды өңдеу (CEP) – 1990 жылдардың басында нақты уақыт оқиғаларын өңдеу және оқиға ағынынан ақпаратты олар түскен кезде алу үшін жасалған тұжырымдамалар мен техникалар жиынтығы. Кешенді оқиғаларды өңдеудің мақсаты – нақты уақыт жағдайында маңызды оқиғаларды (мысалы, мүмкіндіктер немесе қауіптер) анықтау және оларға мүмкіндігінше жылдам жауап беру. Бұл оқиғалар ұйымның әртүрлі деңгейлерінде сату мүмкіндіктері, тапсырыстар немесе клиенттік қызмет көрсету шақырулары ретінде кездесуі мүмкін. Сонымен қатар, бұл жаңалықтар, мәтіндік хабарламалар, әлеуметтік желідегі жазбалар, қор нарығының ақпараты, жол қозғалысы, ауа райы туралы хабарламалар немесе басқа да деректер болуы мүмкін. CEP содан бері көптеген жүйелерде оқиғалардың келіп түсу ағынына дереу әрекет етуге мүмкіндік беретін технологияға айналды. Қолданбалары қазір (2018) қор нарығындағы сауда жүйелері, мобильді құрылғылар, интернет операциялары, алаяқтықты анықтау, көлік индустриясы және мемлекеттік барлау сияқты көптеген бизнес салаларында қолданылуда. Оқиғалар туралы мол ақпарат кейде «оқиға бұлты» деп аталады. қоңыраулар, той киіміндегі ер және әйел, ауада ұшып бара жатқан күріш. CEP бірқатар техникаларға сүйенеді, оның ішінде:

Оқиға үлгілерін анықтау
Оқиғаны абстракциялау
Оқиғаны сүзу
Оқиғаны жинақтау және түрлендіру
Оқиға иерархиясын модельдеу
Оқиғалар арасындағы қатынастарды анықтау (мысалы, себеп-салдар, құрамдастық немесе уақыт)
Оқиғаға негізделген процестерді абстракциялау

CEP-тің коммерциялық қолданбалары әртүрлі салаларда бар, оларға кредиттік карта алаяқтығын анықтау, бизнес белсенділігін бақылау және қауіпсіздікті бақылау кіреді.

Тарих

CEP аймағы дискретті оқиғалар симуляциясы, белсенді дерекқор аймағы және кейбір бағдарламалау тілдеріне қатысты. Өнеркәсіптегі қызметке дейін 1990 жылдары ғылыми-зерттеу жобаларының толқыны болды. Жалпылама CEP тілі мен орындау моделіне жол ашқан алғашқы жоба – Дэвид Лакхэм басқарған Стэнфорд университетіндегі Rapide жобасы. Параллельді түрде тағы екі зерттеу жобасы жүргізілді: K. Mani Chandy басқарған Калифорния технология институтындағы Infospheres және Джон Бейтс басқарған Кембридж университетіндегі Apama. Коммерциялық өнімдер осы және кейінірек жүргізілген зерттеу жобаларында дамыған ұғымдарға негізделген. Қоғамдық күш-жігер Оқиғаларды өңдеу техникалық қоғамы ұйымдастырған оқиғаларды өңдеу симпозиумдары сериясымен, содан кейін ACM DEBS конференциясы сериясымен басталды. Қоғамның бір ізгілігі – оқиғаларды өңдеу манифестін жасау.

Қарым-қатынас ұғымдары

CEP операциялық барлау (OI) өнімдерінде деректердің тікелей ағындары мен оқиғалар бойынша сұраныс талдауларын жүргізу арқылы бизнес-операциялар туралы түсінік беру үшін қолданылады. ОИ нақты уақыт деректерін жинап, тарихи деректермен салыстыра отырып, түсінік пен талдау жүргізеді. Әр түрлі дерек көздерін біріктіру арқылы қазіргі ақпаратты қолдана отырып, ортақ операциялық картинаны құруға болады. Желілік басқару, жүйелік басқару, қосымша басқару және қызмет көрсету басқаруда көбінесе оқиғалардың өзара байланысына сілтеме жасалады. CEP қозғалтқыштары сияқты, оқиғалардың өзара байланысын анықтайтын қозғалтқыштар (оқиғалар корреляторы) көптеген оқиғаларды талдап, ең маңыздыларын анықтап, тиісті шараларды іске қосады. Дегенмен, олардың көпшілігі жаңа қорытынды оқиғаларды жасамайды. Керісінше, жоғары деңгейдегі оқиғаларды төмен деңгейдегі оқиғалармен байланыстырады. Шешім қабылдау жүйелері, мысалы, ережелерге негізделген қорыту жүйелері, әдетте жасанды интеллектте қорытынды ақпаратты шығарады. Алайда, олар көбінесе күрделі (яғни, қорытынды) оқиғалар түрінде жаңа ақпарат ұсынбайды.

Мысал

CEP-нің жүйелі мысалы автомобиль, бірнеше сенсорлар және әртүрлі оқиғалар мен реакцияларды қамтиды. Сонымен, көлікте бірнеше сенсор бар делік: бірі дөңгелектің қысымын өлшейді, екіншісі жылдамдықты, ал үшіншісі адам отырғанын немесе орнынан тұрғанын анықтайды. Бірінші жағдайда, көлік қозғалып тұр және бір дөңгелектің қысымы 15 минут ішінде 45 пси-дан 41 пси-ға төмендейді. Дөңгелектің қысымы төмендеген сайын, дөңгелек қысымын қамтитын оқиғалар тізбегі жасалады. Сонымен қатар, көліктің жылдамдығын қамтитын оқиғалар тізбегі де жасалады. Көліктің Оқиға Процессоры (Event Processor) дөңгелек қысымының ұзақ уақыт бойы төмендеуі салдарынан "дөңгелекқысымытөмендеуі" (lossOfTirePressure) оқиғасының туындауын анықтауы мүмкін. Бұл жаңа оқиға көліктің техникалық қызмет көрсету журналына қысымның төмендеуін тіркеу және көліктің порталы арқылы жүргізушіге дөңгелек қысымы төмендегенін ескерту үшін реакция процесін іске қосуы мүмкін. Екінші жағдайда, көлік қозғалып тұр және бір дөңгелектің қысымы 5 секунд ішінде 45 пси-дан 20 пси-ға дейін күрт төмендейді. Басқа жағдай анықталады – мүмкін, қысымның төмендеуі қысқа уақыт ішінде болғандықтан, немесе әрбір оқиға арасындағы мәндердің айырмашылығы алдын ала белгіленген шектен асқандықтан. Бұл жағдай "дөңгелектіжару" (blowOutTire) деген жаңа оқиғаны тудырады. Бұл жаңа оқиға жүргізушіге дереу ескерту беру және көлікті бақылауын жоғалтпай тоқтатуға көмектесетін бортындағы компьютерлік бағдарламаларды іске қосу үшін басқа реакция процесін іске қосады. Сонымен қатар, анықталған жағдайларды көрсететін оқиғаларды басқа оқиғалармен біріктіріп, күрделірек жағдайларды анықтауға болады. Мысалы, үшінші жағдайда көлік қалыпты қозғалып келе жатып дөңгелегі жарылып, жолдан шығып, ағашқа соғылады және жүргізуші көліктен лақтырылады. Бірнеше түрлі жағдай тез анықталады. "Дөңгелектіжару", "нөлдікжылдамдық" (zeroSpeed) және "жүргізушіорнынантұрды" (driverLeftSeat) оқиғаларының өте қысқа мерзім ішінде бірігуі "жол-көлікоқиғасы" (occupantThrownAccident) деген жаңа жағдайды анықтауға мүмкіндік береді. Жүргізушінің лақтырылғанын немесе оқиға болғанын анықтайтын тікелей өлшеу болмаса да, оқиғалардың үйлесімі жағдайды анықтауға және анықталған жағдайды білдіретін жаңа оқиға жасауға мүмкіндік береді. Осыдан күрделі (немесе құрамдас) оқиғаның мәні көрінеді. Бұл күрделі, себебі жағдайды тікелей анықтау мүмкін емес; жағдайдың басқа оқиғалардың үйлесімінен туындағанын болжау немесе қорыту керек.

A more systemic example of CEP involves a car, some sensors and various events and reactions. Imagine that a car has several sensors—one that measures tire pressure, one that measures speed, and one that detects if someone sits on a seat or leaves a seat. In the first situation, the car is moving and the pressure of one of the tires moves from 45 psi to 41 psi over 15 minutes. As the pressure in the tire is decreasing, a series of events containing the tire pressure is generated. In addition, a series of events containing the speed of the car is generated. The car's Event Processor may detect a situation whereby a loss of tire pressure over a relatively long period of time results in the creation of the "lossOfTirePressure" event. This new event may trigger a reaction process to note the pressure loss into the car's maintenance log, and alert the driver via the car's portal that the tire pressure has reduced. In the second situation, the car is moving and the pressure of one of the tires drops from 45 psi to 20 psi in 5 seconds. A different situation is detected—perhaps because the loss of pressure occurred over a shorter period of time, or perhaps because the difference in values between each event were larger than a predefined limit. The different situation results in a new event "blowOutTire" being generated. This new event triggers a different reaction process to immediately alert the driver and to initiate onboard computer routines to assist the driver in bringing the car to a stop without losing control through skidding. In addition, events that represent detected situations can also be combined with other events in order to detect more complex situations. For example, in the final situation the car is moving normally and suffers a blown tire which results in the car leaving the road and striking a tree, and the driver is thrown from the car. A series of different situations are rapidly detected. The combination of "blowOutTire", "zeroSpeed" and "driverLeftSeat" within a very short period of time results in a new situation being detected: "occupantThrownAccident". Even though there is no direct measurement that can determine conclusively that the driver was thrown, or that there was an accident, the combination of events allows the situation to be detected and a new event to be created to signify the detected situation. This is the essence of a complex (or composite) event. It is complex because one cannot directly detect the situation; one has to infer or deduce that the situation has occurred from a combination of other events.

Бизнес процестерін басқарумен интеграциялау

CEP үшін табиғи үйлесім бизнес-процестерді басқару (BPM) саласында байқалды. BPM операциялық ортасына үздіксіз оңтайландыру және бейімделу мақсатында бизнес-процестердің бастапқыдан соңына дейінгі толық циклына назар аударады. Дегенмен, бизнестің оңтайландырылуы тек жеке процестеріне ғана емес, сонымен қатар олардың өзара байланысына да байланысты. Көрінетіндей, әртүрлі процестер бір-біріне маңызды әсер ете алады. Мысалы, мына сценарийді қарастырайық:
Әуе-ғарыш өнеркәсібінде көлік құралдарының істен шығуын қадағалау – жақсы тәжірибе. Бұл өндіріс процесіндегі, материалдағы және т.б. әлеуетті кемшіліктерді анықтауға мүмкіндік береді. Тағы бір жеке процесс – қолданыстағы көлік құралдарының қызмет мерзімін бақылау және оларды қажет болған жағдайда пайдаланудан шығару. CEP-тің бір пайдасы – осы екі жеке процесті байланыстыру. Егер бастапқы процесс (істен шығу мониторингі) металлдың шаршауына байланысты ақаулықты анықтаса (маңызды оқиға), онда екінші процесті (қызмет мерзімі) пайдалана отырып, ақаулы металлдың сол партиясын қолданған көлік құралдарын кері шақыруға қатысты шара қолға алынуы мүмкін. CEP және BPM интеграциясы екі деңгейде жүзеге асуы керек: бизнес-оқиғалар деңгейінде (пайдаланушылар өз процестерінің жалпы пайдасын түсінуі керек) және технологиялық деңгейде (CEP-тің BPM жүзеге асырумен өзара әрекеттесуіне мүмкіндік беруі керек). CEP-тің BPM-мен интеграциясы туралы соңғы зерттеулерге, осы сала жиі «Оқиғаға бағытталған бизнес-процестерді басқару» деп аталады, сілтеме жасаңыз. Есептеуге бағытталған CEP-тің рөлі, әрине, Бизнес-ережелер технологиясымен қатар келеді. Мысалы, клиенттерге қызмет көрсету орталықтары CEP-ті кликтер ағынын талдау және клиенттік тәжірибені басқару үшін пайдаланады. CEP бағдарламалық құралы бизнес-талдау және басқа да шешімдерді қолдау жүйелеріне секунд сайын миллиондаған оқиға (кликтің өзі немесе басқа да өзара әрекеттесулер) туралы ақпаратты ұсына алады. Бұл «ұсынымдық қосымшалар» агенттерге әр клиенттің тәжірибесіне сүйене отырып, жекелендірілген қызмет көрсетуге көмектеседі. CEP қосымшасы телефондағы клиенттің қазіргі уақытта не істеп жатқаны, немесе оның компаниямен филиалда, веб-сайтта (өздік қызмет көрсету мүмкіндіктерін пайдалану арқылы), жылдам хабар алмасу және электрондық пошта арқылы қалай өзара әрекеттескені туралы деректерді жинақтауы мүмкін. Содан кейін қосымша клиенттік тәжірибенің толық картинасын талдап, агентке телефон арқылы басшылық ететін сценарийлерді немесе келесі қадамдарды ұсынады, нәтижесінде клиент қанағаттанады деп үміттеніледі.

A natural fit for CEP has been with business process management (BPM). BPM focuses on end to end business processes, in order to continuously optimize and align for its operational environment. However, the optimization of a business does not rely solely upon its individual, end to end processes. Seemingly disparate processes can affect each other significantly. Consider this scenario:
In the aerospace industry, it is good practice to monitor breakdowns of vehicles to look for trends (determine potential weaknesses in manufacturing processes, material, etc.). Another separate process monitors current operational vehicles' life cycles and decommissions them when appropriate. One use for CEP is to link these separate processes, so that in the case of the initial process (breakdown monitoring) discovering a malfunction based on metal fatigue (a significant event), an action can be created to exploit the second process (life cycle) to issue a recall on vehicles using the same batch of metal discovered as faulty in the initial process. The integration of CEP and BPM must exist at two levels, both at the business awareness level (users must understand the potential holistic benefits of their individual processes) and also at the technological level (there needs to be a method by which CEP can interact with BPM implementation). For a recent state of the art review on the integration of CEP with BPM, which is frequently labeled as Event Driven Business Process Management, refer to. Computation oriented CEP's role can arguably be seen to overlap with Business Rule technology. For example, customer service centers are using CEP for click stream analysis and customer experience management. CEP software can factor real time information about millions of events (clicks or other interactions) per second into business intelligence and other decision support applications. These "recommendation applications" help agents provide personalized service based on each customer's experience. The CEP application may collect data about what customers on the phone are currently doing, or how they have recently interacted with the company in other various channels, including in branch, or on the Web via self service features, instant messaging and email. The application then analyzes the total customer experience and recommends scripts or next steps that guide the agent on the phone, and hopefully keep the customer happy.

Уақыт тізбектерінің деректер базаларымен біріктіру

Уақыт реті деректер қоры – уақыт бойынша ұйымдастырылған деректерді өңдеуге бағытталған бағдарламалық жүйе. Уақыт сериясы – дерек элементтерінің шекті немесе шексіз тізбегі, онда әрбір элементке сәйкес уақыт белгісі тағайындалады және уақыт белгілерінің тізбегі кемімейді. Уақыт сериясының элементтері көбінесе «тік» деп аталады. Уақыт белгілерінің міндетті түрде өсуі қажет емес (тек кемімеуі керек), себебі практикада кейбір жүйелердің, мысалы, қаржылық деректер көздерінің уақыт шешімі өте төмен болуы мүмкін (миллисекундтар, микросекундтар тіпті наносекундтар), сондықтан тікелей оқиғалар бірдей уақыт белгісін алып жатуы мүмкін. Уақыт сериясы деректері күрделі оқиғаларды өңдеуге байланысты талдау үшін тарихи контекст ұсынады. Бұл кез келген салаға, мысалы, қаржы саласына және BPM сияқты басқа технологиялармен бірлесіп қолданылуы мүмкін. CEP талдауы үшін ең қолайлы жағдай – тарихи уақыт серияларын және нақты уақыт ағыны деректерін біртұтас уақыт континуумы ретінде қарастыру. Кеше, өткен аптада немесе өткен айда болған оқиғалар бүгін және болашақта болып жатқан оқиғалардың жалғасы ғана. Мысалы, сауда операцияларын жүзеге асыру логикасы үшін ағымдағы нарық көлемдерін тарихи көлемдермен, бағалармен және құбылмалылықпен салыстыру қажет болуы мүмкін. Немесе, нақты нарықтық бағаларға қатысты әрекет ету үшін секторлық және индекстік қозғалыстарды қамтитын бенчмарктермен салыстыру қажет болуы мүмкін, олардың күндізгі және тарихи трендтері құбылмалылықты бағалауға және аномалияларды тегістеуге көмектеседі.

Заттар интернеті және ақылды кибер-физикалық жүйелер

Кешенді оқиғаларды өңдеу – заттар интернеті (IoT) және интеллектуалды киберфизикалық жүйелер (CPS) салаларында маңызды рөл атқарады. Әртүрлі сенсорлардан келіп түсетін тығыз және әртүрлі дерек ағындарын өңдеу және осы ағындардағы үлгілерді анықтау – мұндай жағдайлардағы типовой міндет. Бұл техникалардың көпшілігі IoT жүйесінің күйін және оның өзгеруін статикалық, нақты модельге қарағанда дерек ағыны түрінде көрсетудің тиімдірек екендігіне негізделген. Мұндай ағынға негізделген модельдермен жұмыс істеу дәстүрлі ойлау әдістерінен түбегейлі өзгеше және көбінесе модельдік түрлендірулер мен CEP-тің үйлесімді қолданылуын қажет етеді.