Кіріспе
Белгісіз оқиғалар туралы болжам жасау үшін фактілерді талдаудың статистикалық әдістері.
Прогноздық талдау – бұл машиналық оқытуды қолдана отырып, нақты бизнес-қосымшалар үшін болжамдық модельдер құратын бизнес-аналитиканың бір түрі. Осыған байланысты, ол болашақ немесе әлдебір белгісіз оқиғалар туралы болжамдар жасау үшін қазіргі және тарихи фактілерді талдайтын болжамдық модельдеу және машиналық оқыту сияқты әртүрлі статистикалық әдістерді қамтиды. Бұл машиналық оқыту қолданбаларының маңызды бөлігін құрайды; кейбір жағдайларда ол машиналық оқытумен синоним болып табылады. Бизнесте болжамдық модельдер тәуекелдерді және мүмкіндіктерді анықтау үшін тарихи және транзакциялық деректердегі үлгілерді пайдаланады. Модельдер көптеген факторлар арасындағы қатынастарды қамтиды, бұл нақты жағдайлар жиынтығымен байланысты тәуекелді немесе әлеуетті бағалауға мүмкіндік береді, соның нәтижесінде ұсынылып отырған операциялар бойынша шешім қабылдауға бағыттайды. Осы техникалық тәсілдердің ерекше функционалдық әсері – прогноздық талдау әрбір жеке тұлға (клиент, қызметкер, денсаулық сақтау пациенті, өнімнің артикулі, көлік құралы, компонент, машина немесе басқа ұйымдық бөлімше) үшін болжамдық баллды (мүмкіндік) ұсынады. Бұл маркетинг, несиелік тәуекелді бағалау, алаяқтықтарды анықтау, өндіріс, денсаулық сақтау және құқық қорғауды қоса алғанда, көптеген адамдарды қамтитын ұйымдық процестерді анықтауға, хабарлауға немесе оларға әсер етуге мүмкіндік береді.
Анықтама
Прогноздық талдау – бұл мінез-құлық пен оқиғаларды болжау үшін қолданылатын, үлкен дерек көлемдеріндегі байланыстар мен үлгілерді анықтайтын бизнес-интеллект (BI) технологияларының жиынтығы. Басқа BI технологияларынан ерекшелігі, прогноздық талдау болашаққа бағытталған, өткен оқиғаларды болашақты күту үшін пайдаланады. Прогноздық талдаудың статистикалық әдістеріне деректерді модельдеу, машиналық оқыту, жасанды интеллект (AI), терең оқыту алгоритмдері және деректерді өңдеу кіреді. Көбінесе қызығушылық тудыратын белгісіз оқиға болашақта болады, бірақ прогноздық талдау кез келген белгісіз жағдайға қолданылуы мүмкін – ол өткенде, қазіргі уақытта немесе болашақта болсын. Мысалы, қылмыс болғаннан кейін күдіктілерді анықтау немесе несие картасымен жасалған алаяқтық қылмысты оның орын алған сәтте анықтау. Прогноздық талдаудың мәні – түсіндіретін айнымалылар мен болжамды айнымалылар арасындағы байланысты өткен оқиғалар негізінде анықтап, оларды белгісіз нәтижені болжау үшін пайдалану болып табылады. Алайда, нәтижелердің дәлдігі мен пайдалануға қолайлылығы деректерді талдау деңгейіне және жасалған болжамдардың сапасына тікелей байланысты екенін ескеру қажет.
Талдау әдістері
Прогноздық талдау жүргізуге қолданылатын тәсілдер мен техникаларды кеңінен регрессиялық техникалар мен машиналық оқыту техникалары деп жіктеуге болады.
Машиналық оқыту
Машиналық оқыту – машинаның үйрену және интеллект қажеттілігін талап ететін адамның қылықтарын қайталау қабілеті ретінде анықталады. Бұл жасанды интеллект, алгоритмдер және модельдер арқылы іске асырылады.
Авторегрессивті интегралды жылжымалы орташа көрсеткіш (ARIMA)
ARIMA модельдері – уақыт қатарлары модельдерінің кең таралған мысалы. Бұл модельдер авторегрессияны пайдаланады, яғни модельді регрессиялық талдау мен тегістеудің көп бөлігін машиналық оқыту арқылы жүзеге асыратын регрессиялық бағдарламалық қамтамасыз етумен жабдықтауға болады. ARIMA модельдерінің жалпы тенденциясы болмайды, бірақ олар орташа мәнге шамасы тұрақты болатын ауытқуларды көрсетеді, нәтижесінде статистикалық тұрғыдан ұқсас уақыт үлгілері пайда болады. Осы арқылы айнымалылар талданады және болашақ мәндерді жақсырақ түсіну және болжау үшін деректер сүзіледі. ARIMA әдісінің бір мысалы – экспоненциалды тегістеу модельдері. Экспоненциалды тегістеу жаңа және ескі деректер жиынтықтарының маңыздылығындағы айырмашылықты ескереді, себебі жақындағы деректер болашақ мәндерді болжауда дәлірек және құндырақ болады. Мұны іске асыру үшін экспоненталар қолданылады, олар ескі деректер жиынтықтарына қарағанда жаңа деректер жиынтығына есептеулерде үлкен салмақ береді.
Уақыт сериясы үлгілері
Уақыт қатарлары модельдері – бұл машиналық оқытудың бір бөлігі, ол деректерді түсіну және болжау үшін уақыт қатарларын, яғни өткен мәндерді пайдаланады. Уақыт қатары – бұл белгілі бір айқындамалы аралықтағы (мысалы, жылдар немесе тоқсандар сияқты бизнес қолданбаларында) өзгермелінің мәнінің тізбегі. Мұны іске асыру үшін деректерді тегістеу қажет, немесе деректердің кездейсоқ вариациясын жою қажет, соның арқасында деректердегі трендтер анықталады. Мұны жүзеге асырудың әр түрлі жолдары бар.
Жылжымалы орташа
Бір жылжымалы орташа әдістері бір ғана орташа есептеумен байланысты қателікті азайту үшін өткен деректердің кішірейе түсетін жиынтығын пайдаланады, бұл деректер жиынтығының толық орташасынан гөрі дәл орташаға қол жеткізуге мүмкіндік береді. Орталық жылжымалы орташа әдістері бір жылжымалы орташа әдістерінде қолданылатын деректерді медианалық нөмірленген деректер жиынтығының орташасын есептеу арқылы пайдаланады. Дегенмен, жұп санды деректер жиынтығымен медианалық нөмірленген деректер жиынтығын есептеу қиын болғандықтан, бұл әдіс тақ санды деректер жиынтығымен жақсы жұмыс істейді.
Болжамдық модельдеу
Прогноздық модельдеу – болашақ мінез-құлықты болжауға қолданылатын статистикалық әдіс. Ол белгілі бір үлгідегі нақты бір объекті мен оның бір немесе бірнеше ерекшеліктері арасындағы байланысты талдау үшін болжамдық модельдерді пайдаланады. Бұл модельдердің мақсаты – басқа үлгідегі объектінің сол үлгіні көрсету мүмкіндігін бағалау. Прогноздық модельдік шешімдер деректерді өндіру технологиясының бір түрі болып саналады. Модельдер тарихи және қазіргі деректерді талдап, болашақ нәтижелерді болжау үшін модель құрайды. Қолданылатын әдістемеге қарамастан, жалпы алғанда, болжамдық модельдерді құру процесі бірдей қадамдардан тұрады. Біріншіден, жобаның мақсаттары мен күтілетін нәтижелерін анықтап, оларды болжамдық талдау мақсаттары мен міндеттеріне аудару қажет. Содан кейін, ең тиімді деректерді және модель құру тәсілін анықтау үшін деректерді талдау керек (модельдерді құру үшін қолданылатын деректердің сапасы олардың пайдалылығын анықтайды). Модельдерді құру үшін деректерді іріктеп, түрлендіру. Модельдерді құрып, жобаның мақсаттары мен өлшемдерін қанағаттандыру үшін олардың дұрыстығын тексеру. Модельдің нәтижелерін тиісті бизнес-процестерге қолдану (деректердегі үлгілерді анықтау, бизнес оларды қалай пайдалануға болатынын түсіне білуі керек дегенді білдірмейді). Содан кейін, модельдерді басқарып, күтіп ұстау арқылы олардың өнімділігін жақсарту және стандарттау қажет (жаңа талаптарға сәйкестікті қамтамасыз ету үшін модельдерді басқаруға деген сұраныс артады). Бұған қоса, көптеген тәуелсіз айнымалылар арасындағы байланысты қарастыру үшін көптік сызықтық регрессия (MLP) қолданылуы мүмкін, бұл көбірек мүмкіндіктер беретін модельдеу тәсілі.
Аудиттегі аналитикалық шолу және шартты күтулер
Аудиттің маңызды аспектісі – аналитикалық шолу. Аналитикалық шолуда тексеріліп жатқан есептелген шоттардың дұрыстығы бағаланады. Аудиторлар бұл процесті болжамдық модельдеу арқылы іске асырады, осылайша аудиті жүргізіліп жатқан қалдықтардың шартты күтулері деп аталатын болжамдарды авторегрессивті интеграцияланған жылжымалы орташа (ARIMA) әдістері және жалпы регрессиялық талдау әдістерін пайдаланады.
Аналитикалық шолу үшін ARIMA әдісі өткен аудиттелген қалдықтардың уақыт қатарын талдау арқылы шартты күтулерді құруға қолданылады. Бұл шартты күтулер кейін аудиттелген шоттағы нақты қалдықтармен салыстырылады, осылайша есептелген қалдықтар күтулерге қаншалықты жақын екенін анықтау үшін. Егер есептелген қалдықтар күтулерге жақын болса, шоттар одан әрі тексерілмейді. Егер есептелген қалдықтар күтулерден едәуір өзгеше болса, маңызды есептік қате болу ықтималдығы артады және қосымша аудит жүргізіледі. Бұл жағдайда тәуелді айнымалы – шоттың қалдығы. Осы арқылы шартты күтуді құру үшін ең маңызды тәуелсіз айнымалы қолданылады және, ARIMA әдісіне ұқсас, шартты күту есептелген шоттың қалдығымен салыстырылады, содан кейін екі қалдыққа байланысты шешім қабылданады.
Кәсіптік құндылығы
Технологиялық жетістіктер әлемінде, деректердің көбірек бөлігі сандық форматта жасалып, сақталып жатқанда, бизнес осы мүмкіндікті пайдаланып, ақпаратты пайда табуға жәрдемдесетін жолдарды іздеуде. Прогнозтық талдау қолданылуы мүмкін және активтерді басқару компаниялары, сақтандыру компаниялары, байланыс компаниялары және тағы да көптеген мекемелер сияқты кең ауқымды бизнеске көптеген пайда әкеле алады. Мақсаттарына жету үшін жобаларды басқаруды қолданатын кез келген компания, алдын ала болжау мүмкіндіктерінен зор пайда көреді. IDC Analyze the Future жүргізген зерттеуде Дэн Вассет пен Генри Д. Моррис активтерді басқару фирмасының маркетингтік науқанын жақсарту үшін болжамды талдауды қалай қолданғанын түсіндіреді. Олар жаппай маркетингтен клиентке бағытталған тәсілге көшті, әрбір клиентке бірдей ұсыныс жіберудің орнына, әр ұсынысты клиенттеріне қарай жекелендірді. Болжамды талдау, ықтимал клиенттің жеке ұсынысты қабылдау мүмкіндігін болжау үшін пайдаланылды. Маркетингтік науқан мен болжамды талдаудың нәтижесінде фирманың қабылдау деңгейі үш есеге өсіп, жеке ұсыныстарын қабылдаған адамдардың саны артты. Прогноздық талдау саласындағы технологиялық жетістіктер оның мекемелер үшін құндылығын арттырды. Мұндай жетістіктердің бірі – жоғары өнімді компьютерлер, олардың арқасында болжамды талдау үлкен деректер жиынтығында жылдам болжамдар жасауға мүмкіндік береді. Есептеу қуатының артуымен бірге деректер мен қосымшалардың көбеюі, болжамды талдаумен пайдалануға болатын енгізулердің кең ауқымын білдіреді. Тағы бір технологиялық жетістік – қолданушыға ыңғайлы интерфейс, бұл бағдарламалық қамтамасыз ету мен қосымшаларды тиімді пайдалану үшін кіруге кедергісіз және қызметкерлерге аз оқыту қажеттігін қамтамасыз етеді. Осы жетістіктердің арқасында көптеген корпорациялар болжамды талдауды қабылдап, қызметкерлердің тиімділігі мен өнімділігі, сондай-ақ пайдасының артуын байқауда. Жобалардың 70% сәтсіздікке ұшырайды және клиенттерге уәделенген нәтижелерді жеткізе алмайды. Алайда, басқару процесін енгізу сәтсіздік деңгейін 20% немесе одан да төменге дейін төмендетуге көмектеседі.
Ақша ағынын болжау
ARIMA бір және көп өзгермелі модельдерін компанияның болашақ ақша ағынын болжауда қолдануға болады, оның теңдеулері мен есептеулері ақша ағынына әсер ететін факторлардың өткендегі мәндеріне негізделген. Уақыт қатарларын талдау арқылы осы факторлардың мәндерін талдап, компанияның болашақ ақша ағынын болжау үшін экстраполяциялауға болады. Бір өзгермелі модельдер үшін ақша ағымдарының өткендегі мәндері ғана болжамда қолданылатын фактор болып табылады. Ал көп өзгермелі модельдер амортизациядан бұрынғы операциялық табыс сияқты жинақтау деректерімен байланысты бірнеше факторларды пайдаланады. Ақша ағындарын болжауда қолданылатын тағы бір модель 1998 жылы жасалған және Дечоу, Котари және Уоттс моделі немесе DKW (1998) деп белгілі. DKW (1998) бірнеше айнымалы мен ақша ағыны арасындағы байланысты анықтау үшін регрессиялық талдауды қолданады. Осы әдіс арқылы модель ақша ағынының өзгеруі мен жинақтаудың теріс байланыста екенін анықтады, әсіресе ағымдағы табыс арқылы, және осы байланысты пайдаланып келесі кезеңдегі ақша ағынын болжайды. DKW (1998) моделі бұл байланысты жинақтау және ақша ағымдарының кредиторлық және дебиторлық қарыздармен қатынасы, сондай-ақ тауарлық-материалдық қорлар арқылы анықтайды.
Балаларды қорғау
Кейбір балалар әл-ауқатын қамтамасыз ету мекемелері жоғары тәуекелді жағдайларды анықтау үшін болжамдық талдауды пайдалана бастады. Мысалы, Флорида штатының Хиллсбороу округінде балалар әл-ауқатын қамтамасыз ету агенттігінің болжамдық модельдеу құралын қолдануы, нақтыланған топтағы зорлық-зомбылыққа байланысты балалардың қаза болуына жол бермеді.
Сот шешімдерінің нәтижелерін болжау
АИ бағдарламалары сот шешімдерінің нәтижесін болжауға болады. Бұл бағдарламалар осы саланың мамандарына көмекші құрал ретінде қолданылуы мүмкін.
Портфель, өнім немесе экономика деңгейіндегі болжау
Көп жағдайда талдаудың назарында тұтынушы емес, өнім, портфель, фирма, сала, тіпті экономика болады. Мысалы, бөлшек саудагер қорын басқару үшін дүкендегі сұранысты болжауға мүдделі болуы мүмкін. Немесе Федералдық резервтік кеңес келесі жылғы жұмыссыздық деңгейін болжауға қызығушылық танытуы мүмкін. Мұндай мәселелерді болжамдық талдау уақыт қатарлары әдістерін қолдану арқылы шешуге болады (төменде қараңыз). Сондай-ақ, оларды машиналық оқыту тәсілдерімен де шешуге болады, бұл бастапқы уақыт қатарын ерекшеліктер векторлық кеңістігіне түрлендіреді, онда оқу алгоритмі болжамдық күші бар үлгілерді анықтайды.
Сақтандыру
Көптеген кәсіпорындар әртүрлі қызметтерінен туындайтын тәуекелді есепке алуға және осы тәуекелді жабуға қажетті шығындарды анықтауға тиіс. Прогноздық талдау, ауру, төлемді бұзу, банкроттық сияқты жағдайлардың ықтималдығын болжау арқылы осы көлемдерді анықтауға көмектеседі. Прогноздық талдау клиенттерді тарту процесін жеделдетуге мүмкіндік береді, өйткені клиенттің болашақ тәуекелдік мінез-құлқын қолданба деңгейіндегі деректер арқылы болжайды. Кредиттік рейтингтер түріндегі прогноздық талдау несие мақұлдау уақытын қысқартады, әсіресе ипотекалық нарықта. Дұрыс прогноздық талдау дұрыс баға белгілеуге алып келеді, бұл болашақта төлемді бұзу тәуекелін азайтуға көмектеседі. Прогноздық талдау моральдық тәуекелді азайту және оқиғалардың алдын алу үшін қолданылуы мүмкін.
Полиция қызметі
Полиция органдары қазіргі кезде қылмыстың алдын алу үшін алдын ала жоспарланған стратегияларды пайдалануда. Статистикалық құралдарды қолданып қылмыстың үлгілерін болжауға мүмкіндік беретін болжамдық талдау, полиция органдарына ресурстарды жұмылдыру және қылмыс деңгейін төмендетудің жаңа тәсілдерін ұсынады. Осы қылмыстық деректердің болжамдық талдауы арқасында полиция шектеулі ресурстар мен кадрларды қылмыстың көбеюіне жол бермеу үшін тиімдірек бөле алады. Қаланың орташа көрсеткіштерінен әлдеқайда жоғары қылмыс тығыздығын көрсететін қылмыс ошақтарын қорғау үшін бағытталған патрульдеу немесе мәселені шешу әдістерін қолдануға болады.
Спорт
Кәсіби спорт саласында командалар мен жеке тұлғалар үшін болжамдық талдауға маманданған бірнеше фирма пайда болды. Адам мінез-құлқын болжау, болжамдар жасалғаннан кейін жарақаттар, төрешілік, жаттықтырушылардың шешімдері, ауа райы сияқты көптеген факторларға байланысты үлкен өзгерістерге ұшырауы мүмкін болғандықтан, кең ауқымды вариация тудырады. Дегенмен, болжамдық талдауды ұзақ мерзімді трендтерді және нәтижелерді болжау үшін пайдалану тиімді. Бұл саланың көп бөлігі ғасыр басында Билли Биннің «Moneyball» тұжырымдамасымен бастау алды, ал қазір көптеген кәсіби спорт командалары өздерінің талдау бөлімдерінде жұмыс істейді.