Кіріспе
Статистикалық ұғым
Статистикада аралас модель – жалпы популяция ішіндегі субпопуляциялардың болуын көрсетуге арналған ықтималдық модель, мұнда байқалатын деректер жиынтығы жекелеген бақылаудың қай субпопуляцияға жататынын анықтауды талап етпейді. Формальды түрде аралас модель – жалпы популяциядағы бақылаулардың ықтималдық таралуын көрсететін аралас таралымға сәйкес келеді. Дегенмен, "аралас таралымдар" мәселелері субпопуляциялардың қасиеттерінен жалпы популяцияның қасиеттерін шығарумен байланысты болса, "аралас модельдер" жинақталған популяция бойынша ғана бақылаулар негізінде субпопуляциялардың қасиеттері туралы статистикалық қорытындылар жасау үшін қолданылады, субпопуляциялық идентификация туралы ақпаратсыз. Аралас модельдер кластерлеу үшін, модельге негізделген кластерлеу деп аталатын, сондай-ақ тығыздықты бағалау үшін қолданылады. Аралас модельдерді құрамына кіретін деректерге арналған модельдермен, яғни компоненттерінің қосындысы тұрақты мәнге (1, 100% және т.б.) тең болуға шектелген деректермен шатастыруға болмайды. Алайда, құрамына кіретін модельдерді популяция мүшелерінің кездейсоқ түрде іріктелуіне негізделген аралас модельдер деп қарастыруға болады. Керісінше, аралас модельдерді құрамына кіретін модельдер деп қарастыруға болады, онда зертенедін популяцияның жалпы саны 1-ге нормалданады.
Көптүрлі Гаусс қоспасы моделі
Бейес-Гаусс қоспа модельдері көбінесе белгісіз параметрлердің векторына (қалың әріппен белгіленген) немесе көпөлшемді қалыпты үлестірімдерге сәйкес келеді. Көпөлшемді үлестірімде (яғни N кездейсоқ айнымалысы бар векторды модельдеуде) сигналдың бірнеше байқауы немесе суреттегі бөліктер сияқты параметрлер векторын Гаусс қоспасы моделінің алдын ала үлестірімі бойынша бағалаулар векторы арқылы модельдеуге болады:
where the ith vector component is characterized by normal distributions with weights , means and covariance matrices To incorporate this prior into a Bayesian estimation, the prior is multiplied with the known distribution of the data conditioned on the parameters to be estimated. With this formulation, the posterior distribution is also a Gaussian mixture model of the form
with new parameters and that are updated using the EM algorithm. Although EM based parameter updates are well established, providing the initial estimates for these parameters is currently an area of active research. Note that this formulation yields a closed form solution to the complete posterior distribution. Estimations of the random variable may be obtained via one of several estimators, such as the mean or maximum of the posterior distribution. Such distributions are useful for assuming patch wise shapes of images and clusters, for example. In the case of image representation, each Gaussian may be tilted, expanded, and warped according to the covariance matrices One Gaussian distribution of the set is fit to each patch (usually of size 8x8 pixels) in the image. Notably, any distribution of points around a cluster (see k means) may be accurately given enough Gaussian components, but scarcely over K=20 components are needed to accurately model a given image distribution or cluster of data.
мұндағы i-ші вектор компоненті салмақтарымен, орташа мәндерімен және ковариациялық матрицаларымен сипатталатын қалыпты үлестірімдермен сипатталады. Бұл алдын ала үлестірілімін Байес бағалауына енгізу үшін, бағаланатын параметрлерге байланысты белгілі деректердің үлестірілімімен көбейтіледі. Осы формулада, артқы үлестірім де жаңа параметрлері бар Гаусс қоспасы моделі болып табылады және олар EM алгоритмін қолдану арқылы жаңартылады. EM негізделген параметрлерді жаңарту жақсы қалыптасқан болғанымен, осы параметрлердің бастапқы бағалауларын ұсыну қазіргі уақыттағы белсенді зерттеулер саласы болып табылады. Бұл формулада толық артқы үлестірімнің жабық түрдегі шешімі беріледі. Кездейсоқ айнымалының бағалауларын бірнеше бағалаушылардың бірі арқылы алуға болады, мысалы, артқы үлестірімнің орташа мәні немесе максимум. Мұндай үлестірімдер, мысалы, суреттер мен кластерлердің пішіндерін болжау үшін пайдалы. Суретті бейнелеу кезінде әрбір Гаусс ковариациялық матрицаға сәйкес бұрылуы, кеңеюі және деформациялануы мүмкін. Суреттегі әрбір бөлікке (әдетте 8x8 пиксел өлшемді) жинақтың бір Гаусс үлестірімі сәйкес келеді. Ескерілетін мәселе, кластердің айналасындағы нүктелердің кез келген үлестірілімін (k-орташа қараңыз) жеткілікті Гаусс компоненттерімен дәл беруге болады, бірақ берілген сурет үлестірімін немесе деректер кластерін дәл модельдеу үшін K=20 компоненттен аспауы тиіс.
where the ith vector component is characterized by normal distributions with weights , means and covariance matrices To incorporate this prior into a Bayesian estimation, the prior is multiplied with the known distribution of the data conditioned on the parameters to be estimated. With this formulation, the posterior distribution is also a Gaussian mixture model of the form
with new parameters and that are updated using the EM algorithm. Although EM based parameter updates are well established, providing the initial estimates for these parameters is currently an area of active research. Note that this formulation yields a closed form solution to the complete posterior distribution. Estimations of the random variable may be obtained via one of several estimators, such as the mean or maximum of the posterior distribution. Such distributions are useful for assuming patch wise shapes of images and clusters, for example. In the case of image representation, each Gaussian may be tilted, expanded, and warped according to the covariance matrices One Gaussian distribution of the set is fit to each patch (usually of size 8x8 pixels) in the image. Notably, any distribution of points around a cluster (see k means) may be accurately given enough Gaussian components, but scarcely over K=20 components are needed to accurately model a given image distribution or cluster of data.
Қаржылық модель
Қаржылық кірістер қалыпты жағдайларда және дағдарыс кезінде әртүрліше танылуы мүмкін. Кірістер деректері үшін аралас модель пайдалану орынды болып көрінеді. Кейде қолданылатын модель секірісті диффузиялық модель немесе екі қалыпты үлестірімнің араласуы болып табылады. Толық ақпарат алу үшін қараңыз.
Тұрғын үй бағасы
N әр түрлі үйлердің бағасын қарастырайық. Әртүрлі аудандардағы әртүрлі үйлердің бағасы күрт өзгеше болуы мүмкін, бірақ нақты бір аудандағы нақты бір типтегі үйдің бағасы (мысалы, жақсырақ аудандағы үш бөлмелі үй) орташа мәнге шамалы жақын орналасуға бейім. Мұндай бағаларды модельдеудің бір жолы – бағалардың үй типі мен ауданының нақты комбинациясын көрсететін K әр түрлі компоненттен тұратын қоспа модель арқылы сипатталады деп есептеу, мұнда әр компонент белгісіз орташа және дисперсиясы бар қалыпты үлестірім болып табылады. Бұл модельді байқалатын бағаларға бейімдеу, мысалы, күту-максимизациялау алгоритмін қолдану, үй типі/ауданы бойынша бағаларды топтастыруға және әр типтегі/аудандағы бағалардың таралуын анықтауға көмектеседі. (Ескеріңіз, бағалар немесе табыстар сияқты әрқашан оң болатын және экспоненциалды түрде өсетін мәндер үшін, логарифмдік қалыпты үлестірім қалыпты үлестірімге қарағанда жақсы модель болуы мүмкін.)
Құжаттағы тақырыптар
Құжат V өлшемді жалпы сөздіктің N әртүрлі сөзінен тұрады деп есептейік, онда әр сөз K мүмкін тақырыптың біріне сәйкес келеді. Мұндай сөздердің таралуын K түрлі V өлшемді категориялық таралымдардың қоспасы ретінде модельдеуге болады. Мұндай модель көбінесе тақырыптық модель деп аталады. Мұндай модельге күтуді максимизациялау әдісін қолданғанда, параметрлердің шамадан тыс көптігіне байланысты (басқа факторлармен қатар) шындыққа жақын нәтижелер алу әдетте мүмкін болмайды. Жақсы нәтиже алу үшін қосымша болжамдар қажет. Әдетте модельге екі қосымша компонент қосылады: Тақырыптық таралымдарды сипаттайтын параметрлерге алдын ала таралым қойылады, Дирихле таралымын қолдана отырып, концентрация параметрі 1-ден айтарлықтай төмен етіп белгіленеді, осылайша сирек таралымдарға (тек аз ғана сөздерде маңызды нөлдік емес ықтималдықтар болатындай) ынталандыру жасалады. Сөздердің тақырыптарында табиғи топтастырудың артықшылықтарын пайдалану үшін қандай да бір қосымша шектеулер қойылады. Мысалы, тақырыптардың тізбегіне (яғни әр байқаудың қоспа компонентін анықтайтын жасырын айнымалыларға) Марков тізбегі орналастырылуы мүмкін, бұл жақын орналасқан сөздер ұқсас тақырыптарға жататындығын көрсетеді. (Бұл жасырын Марков моделіне алып келеді, атап айтқанда, күйлердің өтуіне алдын ала таралым орналастырылған, ол бір күйде қалуға басымдық береді.) Тағы бір мүмкіндік – жасырын Дирихле таралым моделі, ол сөздерді D әртүрлі құжатқа бөледі және әр құжатта тек аз ғана тақырыптар белгілі бір жиілікпен кездеседі деп есептейді.
A prior distribution is placed over the parameters describing the topic distributions, using a Dirichlet distribution with a concentration parameter that is set significantly below 1, so as to encourage sparse distributions (where only a small number of words have significantly non zero probabilities). Some sort of additional constraint is placed over the topic identities of words, to take advantage of natural clustering. For example, a Markov chain could be placed on the topic identities (i. e., the latent variables specifying the mixture component of each observation), corresponding to the fact that nearby words belong to similar topics. (This results in a hidden Markov model, specifically one where a prior distribution is placed over state transitions that favors transitions that stay in the same state.) Another possibility is the latent Dirichlet allocation model, which divides up the words into D different documents and assumes that in each document only a small number of topics occur with any frequency.
Қолжазбаны тану
Келесі мысал Кристофер М. Бишоптың «Үлгілерді тану және машиналық оқыту» еңбегіндегі мысалға негізделген. Бізге 0 мен 9 аралығындағы қолмен жазылған цифрдың N×N қара-ақ суреті берілгенін көріңіз, бірақ қандай цифр жазылғанын білмейміз. Әр компоненті бір пикселге бір Бернулли таралымын қамтитын, өлшемі бар векторлар жиынтығынан тұратын қоспа модельін құруға болады. Мұндай модельді күту-максимизациялау алгоритмі арқылы таңбаланбаған қолмен жазылған цифрлар жиынтығында оқытуға болады, ол суреттерді жазылған цифр бойынша тиімді түрде топтастырады. Содан кейін сол модельді басқа суреттегі цифрды тану үшін пайдалануға болады: параметрлерді өзгеріссіз ұстап, әр мүмкін цифр үшін жаңа суреттің ықтималдығын есептеу (оңай есептеу) және ең жоғары ықтималдық беретін цифрды анықтау.
Оқтардың дәлдігін бағалау (ағылш.
Аралас модельдер бірнеше снарядты нысанаға бағыттау мәселесінде қолданылады (әуе, құрлық немесе теңіз қорғанысы салаларында), онда снарядтардың физикалық және/немесе статистикалық ерекшеліктері бір-бірінен өзгеше болады. Мысалы, түрлі оқ-дәрі түрлерінен жасалған оқтар немесе бір нысанаға түрлі орындардан бағытталған оқтар болуы мүмкін. Оқ түрлерінің комбинациясын Гаусс араласы моделі ретінде сипаттауға болады. Бұдан бөлек, снарядтар тобының дәлдігін бағалау үшін қолданылатын белгілі бір өлшем – айналмалы қателік шеңбері (CEP) болып табылады, ол R санымен белгіленеді, яғни, орташа алғанда, снарядтар тобының жартысы нысана нүктесінің R радиусты шеңберіне түседі. Аралас модель R шамасын анықтау (немесе бағалау) үшін қолданылуы мүмкін. Аралас модель түрлі снарядтардың ерекшеліктерін дұрыс көрсетеді.
Тікелей және жанама қолдану
Жоғарыда келтірілген қаржылық мысал – қоспа модельдің тікелей қолданылуы, онда біз жасырын механизмді қабылдаймыз, соның арқасында әрбір дерек нүктесі бірнеше түрлі көздердің немесе санаттардың біріне жатады. Дегенмен, осы жасырын механизмді байқауға болады немесе болмайды. Осындай қоспада әрбір көз компоненттік ықтималдық тығыздық функциясымен сипатталады, ал оның қоспа салмағы – дерек нүктесі осы компоненттен шығу ықтималдығын көрсетеді. Қоспа модельдің жанама қолданылуында мұндай механизмді қабылдау қажет емес. Қоспа модель тек математикалық икемділігі үшін қолданылады. Мысалы, әртүрлі орташа мәндері бар екі қалыпты үлестірімнің қоспасы екі максимумды тығыздыққа алып келуі мүмкін, бұл стандартты параметрлік үлестірімдермен модельдеуге келмейді. Тағы бір мысал – қоспа үлестірімдерінің негізгі Гаусс үлестірімдеріне қарағанда қалың құйрықтарын модельдеу мүмкіндігі, осылайша экстремалды оқиғаларды модельдеуге лайықты болуы. Бұл тәсіл динамикалық сәйкестікпен біріктірілгенде, жергілікті өзгергіштік модельдері контекстінде өзгергіштік күлкісінің болуы кезінде қаржылық туынды құралдарды бағалауға қолданылады. Осылайша, біздің қолданылысымыз анықталады.
Болжамды техникалық қызмет көрсету
Қоспа модельге негізделген кластерлеу, көбінесе, болжамды техникалық қызмет көрсетуде машинаның күйін анықтау үшін қолданылады. Жоғары өлшемді белгілердің тығыздығын талдау үшін тығыздық графиктері пайдаланылады. Егер бірнеше модельдік тығыздықтар байқалса, онда шекті тығыздықтар жиынтығы шекті нормаль қоспалар жиынтығы арқылы қалыптасады деп есептеледі. Машинаның әр күйін білдіретін k санындағы топтарға белгі деректерін кластерлеу үшін көпөлшемді Гаусс қоспасы моделі қолданылады. Машинаның күйі қалыпты, өшірілген немесе ақаулы болуы мүмкін. Құрылған әр кластерді спектрлік талдау сияқты әдістер арқылы диагностикалауға болады. Соңғы жылдары бұл қателерді ерте анықтау сияқты басқа да салаларда кеңінен қолданылуда.
Бейнелерді бүктеу
Сурет өңдеу және компьютерлік көру салаларында дәстүрлі сурет сегментациялау модельдері әдетте бір пиксельге тек бір ғана ерекше үлгі тағайындайды. Бұлыңғыр немесе жұмсақ сегментацияда кез келген үлгі кез келген пикселге белгілі бір дәрежеде "қатысуы" болуы мүмкін. Егер үлгілер Гаусс болса, бұлыңғыр сегментация табиғи түрде Гаусс қоспаларын тудырады. Басқа аналитикалық немесе геометриялық құралдармен (мысалы, диффузиялық шекаралардағы фазалық өтулер) біріктірілген мұндай кеңістік бойынша реттелген қоспа модельдері, көбірек нақтылыққа және есептеу тиімділігіне ие сегментациялау әдістерін жасауға мүмкіндік береді.
Анықтама
Анықтамалық қасиет – қарастырылып отырған сыныптың (топтың) кез келген моделінің бірегей сипатталуының болуы. Модель анықтамалық қасиетке ие болмаса, бағалау процедуралары дұрыс анықталмауы мүмкін және асимптотикалық теория қолданылмайды.
Мысал
J барлық биномдық үлестірілімдер классы болсын. Онда J класының екі мүшесінің қоспасы мынадай болады:
және p0 және p1 берілген жағдайда, жоғарыдағы қоспа модельді бірегей түрде анықтау мүмкін емес, себебі үш параметрді (π, θ1, θ2) анықтау қажет.
Анықтама
Бір кластағы параметрлік үлестірімдердің қоспасын қарастырайық. Барлық компоненттік үлестірімдердің класы болсын. Содан кейін J класының K дөңгелек қабығы J класындағы барлық шекті қоспалар класын анықтайды:
be the class of all component distributions. Then the convex hull K of J defines the class of all finite mixture of distributions in J:
K is said to be identifiable if all its members are unique, that is, given two members p and p′ in K, being mixtures of k distributions and k′ distributions respectively in J, we have if and only if, first of all, and secondly we can reorder the summations such that and for all i.
K анықтамалы деп есептеледі, егер оның барлық мүшелері бірегей болса, яғни, K-дегі екі мүше p және p′, сәйкесінше J-дегі k және k′ үлестірімдердің қоспалары болса, онда егер және тек қана егер, біріншіден, екіншіден, біз қосындыларды қайта реттеуге болады, сонда және барлық i үшін.
be the class of all component distributions. Then the convex hull K of J defines the class of all finite mixture of distributions in J:
K is said to be identifiable if all its members are unique, that is, given two members p and p′ in K, being mixtures of k distributions and k′ distributions respectively in J, we have if and only if, first of all, and secondly we can reorder the summations such that and for all i.
Параметрлерді бағалау және жүйені анықтау
Параметрлік қоспалар модельдері жиі қолданылады, егер біз Y үлестірімін білсек және X-тен үлгі алсақ, бірақ біз ai және θi мәндерін анықтағымыз келеді. Мұндай жағдайлар бірнеше түрлі субпопуляциялардан тұратын популяциядан үлгі алатын зерттеулерде туындауы мүмкін. Ықтималдық қоспасын модельдеуді деректердің жоғалуының мәселесі ретінде қарастыру қалыпты жағдай. Мұны түсінудің бір жолы – қарастырылып отырған дерек нүктелерінің, деректерді модельдеу үшін пайдаланатын үлестірілімдердің біріне "жататындығын" болжау. Бастапқыда бұл жатақтың белгісіз немесе жоқ болуы мүмкін. Бағалаудың міндеті – таңдаған модель функцияларына сәйкес келетін параметрлерді анықтау, дерек нүктелерінің оларға жатақтығы арқылы жеке модельдік үлестірілімдермен байланысы бейнеленеді. Қоспаның ыдырау мәселесіне қатысты әр түрлі тәсілдер ұсынылды, олардың көпшілігі күту-максимизациялау (EM) немесе максималды апостериорлық бағалау (MAP) сияқты ең жоғары ықтималдық әдістеріне баса назар аударады. Жалпы алғанда, бұл әдістер жүйелік идентификация және параметрлік бағалау мәселелерін бөлек қарастырады; қоспадағы компоненттердің саны мен функционалдық пішінін анықтау әдістері, тиісті параметрлердің мәндерін бағалау әдістерінен ажыратылады. Тартер мен Лок сипаттаған графикалық әдістер және жақында Figueiredo және Jain сияқты ең аз хабар ұзындығы (MML) әдістері, сондай-ақ белгілі бір дәрежеде Маквильям мен Лох (2009) ұсынған сәттерге сәйкес келетін үлгіні талдау әдістері – бұл ерекше жағдайлардың мысалдары.
Графикалық әдістер
Tarter and Lock (2000) еңбектеріне сілтеме жасалса да, Карл Пирсонның (1894) еңбегі әйел жағалау шағалалары популяцияларындағы маңдай мен дене ұзындығы арақатынасының қалыпты емес белгілерін сипаттауда ыдырау мәселесін алғаш рет қарастырған автор ретінде жиі еске алынады. Бұл жұмыстың бастамасын 1893 жылы (Tarter and Lock) болжам жасаған зоолог Уолтер Франк Рафаэль Уэлдон берді. Одан бері балық шаруашылығы зерттеулері, ауыл шаруашылығы, ботаника, экономика, медицина, генетика, психология, палеонтология, электрофорез, қаржы, геология және зоология сияқты салаларды қамтитын кең ауқымды зерттеулер жүргізілді.