Кіріспе

Статистикалық модель

Байес желісі (Бейес желісі, сенім желісі немесе шешім желісі деп те аталады) – өзгермелілер жиынтығы және олардың шартты тәуелділіктерін бағытталған ациклді график (DAG) арқылы көрсететін ықтималдық графикалық модель. Бұл себептік белгілеудің бірнеше түрінің бірі болғанымен, себептік желілер – Байес желілерінің ерекше жағдайлары. Байес желілері болған оқиғаны алып, белгілі бірнеше мүмкін себептердің кез келгенінің ықпал еткен факторы болғанын болжауға өте ыңғайлы. Мысалы, Байес желісі аурулар мен симптомдар арасындағы ықтималдық байланыстарды көрсете алады. Симптомдарды ескере отырып, желі әртүрлі аурулардың болу ықтималдығын есептеу үшін қолданылуы мүмкін. Тиімді алгоритмдер Байес желілерінде қорытынды шығару және оқытуды жүзеге асыра алады. Өзгермелілердің тізбектерін (мысалы, сөйлеу сигналдары немесе белок тізбектері) модельдейтін Байес желілері динамикалық Байес желілері деп аталады. Белгісіздік жағдайында шешімдерді қабылдауға арналған мәселелерді бейнелеуге және шешуге қабілетті Байес желілерінің жалпылама түрі ықпал диаграммалары деп аталады.

Графикалық модель

Бейес желілері – Бейес мағынасындағы айнымалыларды көрсететін бағытталған ациклді графиктер (DAG) болып табылады: олар байқалатын шамалар, жасырын айнымалылар, белгісіз параметрлер немесе гипотезалар болуы мүмкін. Әр қабырға тікелей шартты тәуелділікті көрсетеді. Бір-бірімен байланысқан емес түйіндердің кез келген жұбы (яғни, бір түйіннен екіншісіне жетекші жол болмаса) бір-біріне шартты түрде тәуелсіз айнымалыларды көрсетеді. Әр түйінге ықтималдық функциясы сәйкес келеді, ол кіріс ретінде түйіннің балама айнымалыларының нақты жиынтығын қабылдайды және түйінмен бейнеленген айнымалының ықтималдығын (немесе қолданылған жағдайда, ықтималдық таралуын) шығарады. Мысалы, егер балама түйіндер Бульдік айнымалыларды көрсететін болса, онда ықтималдық функциясы жазбалар кестесі арқылы бейнеленуі мүмкін, онда балама комбинациялардың әрқайсысы үшін бір жазба болады. Осыған ұқсас идеялар Марков желілері сияқты бағытталмаған және мүмкін циклдық графиктерге де қолданылуы мүмкін.

Байқалмаған айнымалыларды анықтау

Байес желісі өзінің айнымалылары мен олардың қатынастарының толық моделі болғандықтан, олар туралы ықтималдық сұрақтарға жауап беру үшін қолданылуы мүмкін. Мысалы, желі басқа айнымалылар (дәлел айнымалылары) байқалғанда, айнымалылардың кіші жиынтығы туралы білімді жаңарту үшін пайдаланылуы мүмкін. Дәлелдер берілгенде айнымалылардың артқы таралуын есептеу процесі ықтималдық қорытынды деп аталады. Артқы таралу, шешім қателігінің ықтималдығы сияқты күтілетін шығын функциясын азайтатын айнымалылардың кіші жиынтығы үшін мәндерді таңдағанда, анықтау қолданбалары үшін әмбебап жеткілікті статистиканы ұсынады. Осылайша, Байес желісін күрделі проблемаларға Байес теоремасын автоматты түрде қолдану механизмі деп қарастыруға болады. Ең көп қолданылатын нақты қорытынды әдістері: айнымалыларды жою (интеграциялау немесе қосу арқылы байқауға болмайтын, сұранысқа қатысты емес айнымалыларды бірінен соң бірін жою арқылы, жиынды көбейтіндіге бөлу); клика ағашының таратуы (есептеулерді кэштеу арқылы көптеген айнымалыларға бірден сұрақ қоюға және жаңа дәлелдерді жылдам таратуға мүмкіндік береді); және рекурсивті шарттау және ЖӘНЕ/ЖЕМЕС іздеу (бұл кеңістік-уақыт арасындағы теңгерімді ұсынады және жеткілікті орын болғанда айнымалыларды жою тиімділігімен салыстырылады). Бұл әдістердің барлығының күрделігі желінің еніне қатысты экспоненциалды түрде өседі. Ең көп қолданылатын шамамен алынған қорытынды алгоритмдері: маңыздылықты үлгілеу, стохастикалық MCMC симуляциясы, шағын бөгетті жою, итеративті сенім тарату, жалпыланған сенім тарату және вариациялық әдістер.

Параметрлерді үйрену

Байес желісін толық анықтау және осылайша бірлескен ықтималдық үлестірілімін толық көрсету үшін, әрбір X түйіні үшін X-тің ата-аналарына шартты ықтималдық үлестірілімін анықтау қажет. X-тің ата-аналарына шартты таралуы кез келген формада болуы мүмкін. Есептеулерді жеңілдеткендіктен, дискретті немесе Гаусс үлестірімімен жұмыс істеу жиі кездеседі. Кейде таралудың тек шектеулері ғана белгілі болады; онда максималды энтропия принципін қолданып, берілген шектеулерді ескере отырып, ең үлкен энтропияға ие бір таралуды анықтауға болады. (Аналогично, динамикалық Байес желісінің нақты жағдайында, жасырын күйдің уақыт бойынша өзгеруіне шартты үлестірім, туындаған стохастикалық процестің энтропиялық жылдамдығын максималды ету үшін анықталады.) Көбінесе бұл шартты үлестірімдерде белгісіз параметрлер болады, оларды деректерден, мысалы, максималды ықтималдық әдісі арқылы бағалау қажет. Байқалмаған айнымалыларды ескере отырып, ықтималдықты немесе кейіннен ықтималдықты тікелей максимизациялау көбінесе күрделі болады. Бұл мәселеге классикалық тәсіл – күту-максимизациялау алгоритмі, ол бақыланған деректерге шартты байқалмаған айнымалылардың күтілетін мәндерін есептеумен, ал бұрын есептелген күтілетін мәндер дұрыс деп есептеліп, толық ықтималдықты (немесе кейіннен ықтималдықты) максимизациялаумен алмасады. Жұмсақ реттелу шарттарында, бұл процесс параметрлердің максималды ықтималдық (немесе максималды кейіннен) мәндеріне жақындайды. Параметрлерге толыққанды Байес тәсілі – оларды қосымша байқалмаған айнымалылар ретінде қарастырып, байқалған деректерге шартты барлық түйіндер бойынша толық кейіннен үлестірілімді есептеу, содан кейін параметрлерді интеграциялау. Бұл тәсіл қымбатқа түсуі мүмкін және үлкен өлшемді модельдерге әкелуі мүмкін, сондықтан классикалық параметрлерді орнату тәсілдері тиімдірек болады.

Статистикалық кіріспе

Деректер мен параметрлер берілген жағдайда, қарапайым Байес талдауы алдыңғы ықтималдықтан (алдын-ала) және кейінгі ықтималдықты есептеу үшін ықтималдықтан басталады. Көбінесе, алдыңғы ықтималдық ықтималдықта айтылмаған басқа параметрлерге тәуелді болады. Сондықтан, алдыңғы ықтималдық ықтималдықпен алмастырылуы керек, ал жаңа енгізілген параметрлер үшін тағы бір алдыңғы ықтималдық қажет, нәтижесінде кейінгі ықтималдық пайда болады. Бұл иерархиялық Байес моделінің ең қарапайым мысалы. Бұл процесс қайталанылуы мүмкін; мысалы, параметрлер өз кезегінде қосымша параметрлерге тәуелді болуы мүмкін, оларға өздерінің алдын-ала ықтималдықтары қажет. Соңында, процесс тоқтатылуы керек, яғни алдын-ала ықтималдықтар айтылмаған параметрлерге тәуелді болмауы тиіс.

Прейорлық шектеулер

Иерархиялық модельде приорларды таңдауда, әсіресе иерархияның жоғары деңгейлеріндегі масштабты айнымалыларға, мысалы, көрсетілген мысалдағы айнымалыға, қамқорлық қажет. Джеффрис приоры сияқты стандартты приорлар көбінесе тиімсіз болады, себебі постерьерлік бөліс нормалдастырылмайды және күтілетін жоғалтуды азайту арқылы алынған бағалаулар қабылданбас болып шығады.

Анықтамалар мен ұғымдар

Байес желісінің бірнеше эквивалентті анықтамасы ұсынылған. Келесі мәлімдеме үшін G = (V,E) бағытталған ациклдік граф (DAG) деп белгілейік, ал X = (Xv), v ∈ V – V жиынымен индекстелген кездейсоқ айнымалылар жиыны болсын.

Бейес желілерін дамыту

Байес желісін дамыту көбінесе X айнымалысы G-ге қатысты жергілікті Марков қасиетін қанағаттандыратындай DAG G құрудан басталады. Кейде бұл себеп-салдарлық DAG болады. G-дегі ата-аналары берілген әрбір айнымалының шартты ықтималдық үлестірілімдері анықталады. Көп жағдайда, әсіресе айнымалылар дискретті болғанда, егер X-тің бірлескен үлестірілімі осы шартты үлестірілімдердің көбейтіндісіне тең болса, онда X, G-ге қатысты Байес желісі болып табылады.

Марков жамылғысы

Марковтық жамылғы – түйіннің ата-аналары, балалары және олардың басқа ата-аналарынан тұратын түйіндер жиыны. Марковтық жамылғы түйіннің желінің қалған бөліктерінен тәуелсіздігін қамтамасыз етеді; түйіннің Марковтық жамылғысындағы айнымалылардың бірлескен таралуы түйіннің таралуын есептеу үшін жеткілікті мәлімет болып табылады. X – егер әрбір түйін өзінің Марковтық жамылғысын ескере отырып, желідегі барлық басқа түйіндерден шартты түрде тәуелсіз болса, G-ге қатысты Байес желісі болып табылады.

d-бөлу

Бұл анықтаманы екі түйіннің "d" бөлінуін анықтап, жалпылауға болады, мұнда d – бағыттылықты білдіреді. Бұл нәтиже ықтималдықтық қорытындылауға жақындау алгоритмдерін зерттеуге түрткі болды, мақсаты – ықтималдықтық қорытындылауға қол жетімді жақындауды әзірлеу. 1993 жылы Пол Дагум мен Майкл Люби Байес желілеріндегі ықтималдықтық қорытындылаудың күрделілігі туралы екі таңқаларлық нәтижені дәлелдеді. Біріншіден, олар ешбір қолданылатын детерминистік алгоритм ықтималдықтық қорытындылауды абсолютті қатеге ɛ < 1/2 дейін жақындата алмайтынын дәлелдеді. Екіншіден, олар қолданылатын кездейсоқ алгоритмның ықтималдықтық қорытындылауды абсолютті қатеге дейін ɛ < 1/2 жақындату мүмкін еместігін, сенімділік ықтималдығы 1/2-ден жоғары болғанда дәлелдеді. Шамамен бір уақытта Рот Байес желілеріндегі нақты қорытындылаудың шындығында #P толық екенін (яғни конъюнктивті қалыпты формадағы (CNF) формуланың қанағаттандырылатын тапсырмаларының санын санаумен бірдей қиын) және әрбір ɛ > 0 үшін 2n1−ɛ коэффициенті ішінде жақындау, тіпті шектеулі архитектурасы бар Байес желілері үшін де NP қиын екенін дәлелдеді. Іс жүзінде, бұл күрделілік нәтижелері Байес желілерінің AI және машиналық оқыту салаларындағы қолданбалар үшін бай бейнелеулер екенін көрсетсе де, оларды үлкен нақты әлемдегі қолданбаларда қолдану үшін топологиялық құрылымдық шектеулермен (мысалы, нағыз Байес желілері сияқты) немесе шартты ықтималдықтарға қатысты шектеулермен реттеу қажеттігін ұсынды. Дагум мен Люби әзірлеген шектелген дисперсиялы алгоритм – бұл қателік жақындау кепілдіктерімен Байес желілеріндегі ықтималдықтық қорытындылауды тиімді жақындатуға мүмкіндік берген алғашқы дәлелденген жылдам жақындау алгоритмі. Бұл қуатты алгоритм Байес желісінің шартты ықтималдықтарына кішігірім шектеу қойды, олар нөлден және бірден кем емес, ал желідегі түйіндер санының кез келген полиномы болды.