Кіріспе

Ықтималдық үлестірімі

Ықтималдық және статистикада Дирихле үлестірімі (Питер Густав Лежен Дирихле атымен), көбінесе белгіленеді, – оң нақты сандар векторымен параметрленген үздіксіз көпөлшемді ықтималдық үлестірімдерінің отбасы. Бұл бета-үлестірімінің көпөлшемді жалпылауы, сондықтан оның көпөлшемді бета-үлестірімі (МБҮ) деген баламалы атауы бар. Дирихле үлестірімдері Байес статистикасында жиі алдын ала үлестірімдер ретінде қолданылады, және іс жүзінде Дирихле үлестірімі – категориялық және көпмүшелік үлестірімдердің конъюгатты алдын ала үлестірімі болып табылады. Дирихле үлестірімінің шексіз өлшемді жалпылауы – Дирихле процесі.

Қолдау

Дирихле таралымының қолдауы – K өлшемді векторлардың жиынтығы, олардың элементтері [0,1] аралығындағы нақты сандар болып табылады, яғни координаттардың қосындысы 1-ге тең. Бұларды K жолды категориялық оқиғаның ықтималдықтары ретінде қарастыруға болады. Оны былай да айтуға болады: Дирихле таралымының домені – өзі ықтималдық таралымдарының жиынтығы, атап айтқанда K өлшемді дискретті таралымдар жиынтығы. K өлшемді Дирихле таралымының қолдауындағы нүктелер жиынтығын белгілейтін техникалық термин – ашық стандартты (K–1) симплекс, ол келесі жоғары өлшемге енгізілген үшбұрыштың жалпылама түрі. Мысалы, K = 3 болғанда, қолдау үш өлшемді кеңістікте төмен қарай бұрышталған теңқабыршалы үшбұрыш түрінде болады, оның төбелері (1,0,0), (0,1,0) және (0,0,1) нүктелерінде орналасқан, яғни әрбір координаттық осьтің бастауынан 1 бірлік қашықтықтағы нүктесіне жанасады.

Ерекше жағдайлар

Ортақ ерекше жағдай – симметриялық Дирихле таралымы, онда параметрлік вектор құрайтын барлық элементтердің мәні бірдей болады. Симметриялық жағдай мысалы, компоненттерге Дирихле априорлы қажет болғанда, бірақ бір компонентті екіншісінен басып тастайтын алдын ала білім болмағанда пайдалы болуы мүмкін. Параметрлік вектордың барлық элементтері бірдей мәнге ие болғандықтан, симметриялық Дирихле таралымын α деп аталатын бір скалярлық мәнмен параметрлеуге болады, ол концентрация параметрі деп аталады. α арқылы, тығыздық функциясы былай жазылады:

α=1 болғанда, симметриялық Дирихле таралымы ашық стандартты (K–1) симплексіндегі біртекті таралымға тең, яғни ол өзінің қолдауындағы барлық нүктелерде біртекті. Бұл нақты таралым жазық Дирихле таралымы деп аталады. Концентрация параметрінің 1-ден жоғары мәндері тығыз, тегіс таралған, яғни бір үлгідегі барлық мәндер бір-біріне ұқсас болатын айнымалыларды артық көреді. Концентрация параметрінің 1-ден төмен мәндері сиреп кеткен таралымды ұнатады, яғни бір үлгідегі мәндердің көпшілігі 0-ға жақын болады, ал массаның басым бөлігі бірнеше мәнге шоғырланады. Жалпы алғанда, параметрлік вектор кейде (скалярлық) концентрация параметрі α және (векторлық) базалық өлшемнің көбейтіндісі ретінде жазылады, мұнда базалық өлшем (K–1) симплексінің ішінде жатады (яғни оның координаттарының қосындысы бірге тең). Бұл жағдайда концентрация параметрі жоғарыда сипатталған симметриялық Дирихле таралымы үшін концентрация параметрінен K есе үлкен. Бұл құрылым Дирихле процестерін талқылау кезінде базалық өлшем тұжырымымен байланысты және тақырыпты модельдеу әдебиетінде жиі қолданылады. Егер концентрация параметрін әр өлшем үшін Дирихле параметрлерінің қосындысы ретінде анықтасақ, концентрация параметрі K-мен Дирихле таралымы, таралымның өлшемдері, (K–1) симплексіндегі біртекті таралым болып табылады.

Режим

Таралудың модасы – (x1, …, xK) векторы болып табылады.

Дирихле көпномиялы үлестіріміне қатысты

Дирихлет алдыңғы таралуы санаттық мәнді байқаулар жиынына қолданылған модельде, байқаулардың шекті бірлескен таралуы (яғни, алдыңғы параметр ескерілмейтін байқаулардың бірлескен таралуы) Дирихлет көпмүше таралуы болып табылады. Бұл таралым иерархиялық Байес модельдерінде маңызды рөл атқарады, себебі Гиббс сынамасы немесе вариациялық Байес сияқты әдістерді пайдалана отырып, мұндай модельдер бойынша қорытынды жасағанда Дирихлет алдыңғы таралуы жиі ескерілмейді. Осы таралым туралы толық ақпаратты тиісті мақалада қараңыз.

Теңсіздік

Ықтималдық тығыздық функциясы Дирихле таралымы үшін әртүрлі шектемелерді қамтитын көпфункционалдық теңсіздікте маңызды рөл атқарады.

Бейес үлгілері

Дирихле таралымы көбінесе Байес қоспа модельдерінде және басқа да иерархиялық Байес модельдерінде категориялық немесе мультиномиалдық айнымалылардың алдын ала таралымы ретінде қолданылады. (Көптеген салаларда, мысалы, табиғи тілді өңдеуде, категориялық айнымалылар жиі "мультиномиалдық айнымалылар" деп дұрыс емес аталады. Бұл қолданыс шатасу тудырмайды, дәл сияқты Бернулли және биномдық таралымдары жиі шатастырылатын жағдайларда. Иерархиялық Байес модельдерін зерттеу жиі Гиббс үлгілеуі арқылы жүзеге асырылады, және мұндай жағдайда Дирихле таралымының мысалдары әдетте Дирихле кездейсоқ айнымалысын интегралдау арқылы модельден шығарылады. Бұл Дирихле кездейсоқ айнымалысынан алынған әртүрлі категориялық айнымалылардың өзара байланысты болуына әкеледі, ал олардың бірлескен таралымы Дирихле гиперпараметрлеріне (концентрация параметрлеріне) шартты Дирихле мультиномиалдық таралымын қабылдайды. Мұның бір себебі – Дирихле мультиномиалдық таралымын Гиббс үлгілеуі өте оңай; толық ақпарат алу үшін осы мақаланы қараңыз.)

Концентрация параметрі

Дирихле таралымы Байестік қорытындылауда өте жиі қолданылады. Дирихлеттің ең қарапайым және, мүмкін, ең көп таралған түрі – симметриялық Дирихле таралымы, онда барлық параметрлер тең болады. Бұл жағдай бір компонентті екіншісінен артық бағалауға мүмкіндік бермейтін алдын ала ақпараттың болмауына сәйкес келеді. Жоғарыда сипатталғандай, барлық параметрлерге орнатылған α жалғыз мәні концентрация параметрі деп аталады. Егер Дирихле таралымының үлгі кеңістігі дискретті ықтималдық таралымы ретінде қарастырылса, онда интуитивті түрде концентрация параметрін Дирихле таралымының ықтималдық массасының орталыққа қаншалықты "жинақталғанын" анықтайтын фактор деп санауға болады, бұл компоненттердің барлығы арасында шашыраңқы үлгілерге алып келеді. Яғни, 1-ден әлдеқайда кішкентай мән болса, масса бірнеше компонентте жоғары концентрацияланады, ал қалғандарында масса дерлік болмайды, ал 1-ден әлдеқайда үлкен мән болса, масса компоненттердің барлығы арасында шамамен тең бөлінеді. Концентрация параметрі туралы мақаланы қараңыз.

Жіпті кесу

Дирихле таралымының бір мысалы, егер сіз бастапқы ұзындығы 1.0-ға тең жіптерді әртүрлі ұзындықтағы K бөлікке бөлуді қаласаңыз, онда әр бөліктің белгілі бір орташа ұзындығы болады, бірақ бөліктердің салыстырмалы мөлшеріндегі өзгерістерге рұқсат етіледі. Естеріңізге сала кетейік, мәндері таралымнан алынған жіптің кесілген бөліктерінің орташа ұзындығын көрсетеді. Бұл орташа мәнге қатысты дисперсия мәніне кері пропорционалды түрде өзгереді.

Поляның урнасы

К- түрлі түсті шарларды қамтитын урнаны қарастырайық. Бастапқыда, урнада α1 түсті шарлар α1 санында, α2 түсті шарлар α2 санында және т.б. болады. Енді урнан N рет шар шығарып, әрбір шарды шығарғаннан кейін, оны сол түсті бір шармен қоса урға қайта саламыз. N шексіздікке жақындағанда, урндағы түрлі түсті шарлардың үлесі Dir(α1, …, αK) бойынша бөлінеді. Формалды дәлелдеу үшін, түрлі түсті шарлардың пропорциялары [0,1]K мәнді шектелген мартингейл құрайды, сондықтан мартингейл конвергенциясы теоремасы бойынша, бұл пропорциялар дерлік нақты және орташа мәнде шекті кездейсоқ векторға жақындайды. Бұл шекті вектордың жоғарыда аталған Дирихле таралымына ие екенін көрсету үшін, барлық аралас моменттердің сәйкес екенін тексеріңіз. Урнан әрбір шарды шығару болашақта кез келген түсті шарды шығару ықтималдығын өзгертеді. Бұл өзгеріс шығарылған шарлар саны артуымен азаяды, себебі урндағы шарлар саны артқан сайын, жаңа шар қосудың салыстырмалы әсері төмендейді.

Әрбір альфа 1 болғанда

Егер , үлестіруден үлгі алу үшін [0, 1] аралығынан тәуелсіз және біркелкі түрде K - 1 мәннен тұратын жиынтық кездейсоқ таңдалып алынады, оған 0 және 1 мәндері қосылып, жиынтықта K + 1 мән қамтамасыз етіледі, содан кейін жиынтық сұрыпталып, жақын орналасқан әрбір жұп мән арасындағы айырма есептелінеді, нәтижесінде , , .

Әрбір альфа 1/2 және гиперсфераға қатынасы

Егер , үлестіруден үлгі алу үшін K мәнді стандартты қалыпты үлестіруден тәуелсіз кездейсоқ түрде таңдап, осы мәндердің квадратын шығарып, оларды олардың қосындысына бөліп нормалауға болады, нәтижесінде , , аламыз. (K-1) өлшемді гиперсферадан (K өлшемді гиперсфераның беті) нүктені біркелкі кездейсоқ түрде алу үшін ұқсас процедура қолданылады. K мәнді стандартты қалыпты үлестіруден тәуелсіз кездейсоқ түрде таңдап, осы координаттық мәндерді олардың квадраттарының қосындысының квадрат түбіріне бөліп нормалау керек.