Кіріспе
Математикадағы алгоритм. Электр техникасы, статистикалық есептеулер және биоинформатика салаларында Баум-Велх алгоритмі – жасырын Марков моделінің (ЖММ) белгісіз параметрлерін анықтау үшін қолданылатын күту-максимизация алгоритмінің ерекше түрі. Ол күту кезеңі үшін қажетті статистиканы есептеу үшін алға және артқа бағытталған алгоритмді пайдаланады.
In electrical engineering, statistical computing and bioinformatics, the Baum–Welch algorithm is a special case of the expectation–maximization algorithm used to find the unknown parameters of a hidden Markov model (HMM). It makes use of the forward backward algorithm to compute the statistics for the expectation step.
Тарих
Баум-Уэлч алгоритмі оны ойлап тапқан Леонард Э. Баум және Ллойд Р. Уэлчтің есімдерімен аталған. Алгоритм және жасырын Марков модельдері алғаш рет 1960 жылдардың соңы мен 1970 жылдардың басында Баум мен оның әріптестері Принстон қаласындағы IDA коммуникациялық зерттеу орталығында жариялаған мақалалар сериясында сипатталған. Жасырын Марков модельдерінің (HMM) алғашқы маңызды қолданыстарының бірі – сөйлеуді өңдеу саласы. 1980 жылдары HMM биологиялық жүйелер мен ақпаратты, әсіресе генетикалық ақпаратты талдау үшін пайдалы құрал ретінде пайда болды. Одан бері олар геномдық тізбектерді ықтималдықпен модельдеуде маңызды құралға айналды.
Сипаттама
Жасырын Марков моделі "жасырын" және байқалатын дискретті кездейсоқ айнымалылар жиынтығының бірлескен ықтималдығын сипаттайды. Ол i-шы жасырын айнымалының (i-1)-ші жасырын айнымалы берілгенде алдыңғы жасырын айнымалылардан тәуелсіз екендігі және ағымдағы байқау айнымалыларының тек ағымдағы жасырын күйге тәуелді екендігі туралы болжамға негізделген. Баум-Велх алгоритмі белгілі ЭМ алгоритмін пайдаланады, байқалатын белгілер векторлары жиынтығын ескере отырып, жасырын Марков моделі параметрлерінің ең жоғары ықтималдық бағалауын табу үшін. мүмкін мәндері бар дискретті жасырын кездейсоқ айнымалы болсын (яғни, барлығы күй бар деп есептейміз). Біз уақытқа тәуелсіз деп есептейміз, бұл уақытқа тәуелсіз стохастикалық ауысу матрицасының анықтамасына әкеледі.
The initial state distribution (i. e. when ) is given by
The observation variables can take one of possible values. We also assume the observation given the "hidden" state is time independent. The probability of a certain observation at time for state is given by
Taking into account all the possible values of and , we obtain the matrix where belongs to all the possible states and belongs to all the observations. An observation sequence is given by
Thus we can describe a hidden Markov chain by The Baum–Welch algorithm finds a local maximum for (i. e. the HMM parameters that maximize the probability of the observation).
Бастапқы күйдің таралуы (яғни, болғанда) келесідей беріледі:
The initial state distribution (i. e. when ) is given by
The observation variables can take one of possible values. We also assume the observation given the "hidden" state is time independent. The probability of a certain observation at time for state is given by
Taking into account all the possible values of and , we obtain the matrix where belongs to all the possible states and belongs to all the observations. An observation sequence is given by
Thus we can describe a hidden Markov chain by The Baum–Welch algorithm finds a local maximum for (i. e. the HMM parameters that maximize the probability of the observation).
Байқау айнымалылары мүмкін мәндердің біреуін қабылдай алады. Сондай-ақ, "жасырын" күйдегі байқау уақытқа тәуелсіз деп есептейміз. уақытындағы күйі үшін белгілі бір байқаудың ықтималдығы келесідей беріледі:
The initial state distribution (i. e. when ) is given by
The observation variables can take one of possible values. We also assume the observation given the "hidden" state is time independent. The probability of a certain observation at time for state is given by
Taking into account all the possible values of and , we obtain the matrix where belongs to all the possible states and belongs to all the observations. An observation sequence is given by
Thus we can describe a hidden Markov chain by The Baum–Welch algorithm finds a local maximum for (i. e. the HMM parameters that maximize the probability of the observation).
-ның барлық мүмкін мәндерін ескере отырып, матрицаны аламыз, мұнда барлық мүмкін күйлерге, ал барлық байқауларға жатады. Байқау тізбегі келесідей берілген:
The initial state distribution (i. e. when ) is given by
The observation variables can take one of possible values. We also assume the observation given the "hidden" state is time independent. The probability of a certain observation at time for state is given by
Taking into account all the possible values of and , we obtain the matrix where belongs to all the possible states and belongs to all the observations. An observation sequence is given by
Thus we can describe a hidden Markov chain by The Baum–Welch algorithm finds a local maximum for (i. e. the HMM parameters that maximize the probability of the observation).
Осылайша, жасырын Марков тізбегін сипаттауға болады. Баум-Велх алгоритмі үшін жергілікті максимумды табады (яғни, байқау ықтималдығын барынша арттыратын HMM параметрлері).
The initial state distribution (i. e. when ) is given by
The observation variables can take one of possible values. We also assume the observation given the "hidden" state is time independent. The probability of a certain observation at time for state is given by
Taking into account all the possible values of and , we obtain the matrix where belongs to all the possible states and belongs to all the observations. An observation sequence is given by
Thus we can describe a hidden Markov chain by The Baum–Welch algorithm finds a local maximum for (i. e. the HMM parameters that maximize the probability of the observation).
Алгоритм
Кездейсоқ бастапқы шарттармен қойылған. Егер қолжетімді болса, параметрлер туралы бұрынғы ақпаратты пайдаланып та қоюға болады; бұл алгоритмді жылдамдатуға және оны қалаған жергілікті максимумға бағыттауға көмектеседі.
Алға қарай рәсімдеу
Келтіріңіз , – уақыттың t кезіндегі күйде болу және бақылауларды көру ықтималдығы. Бұл рекурсивті түрде есептеледі:
Бұл қатар нөлге экспоненциалды түрде жақындасқандықтан, алгоритм ұзақ тізбектер үшін сандық қателіктерге ұшырайды. Дегенмен, бұған төмендегі алға және кері бағыттағы процедураларда масштабтауды қолдана отырып, аздап өзгертілген алгоритм арқылы жол берілмейді.
Кері жолмен рәсімдеу
Келіңіздер, бұл – бастапқы күйіндегі уақыт t кезінде аяқталған ішінара тізбектің ықтималдығы. Біздікіні есептейміз:
Сөйлеуді тану
Жасырын Марков модельдерін алғаш рет 1975 жылы Джеймс К. Бейкер сөйлеуді тануға қолданды. Үнемі сөйлеуді тану HMM арқылы модельделген келесі қадамдар бойынша жүзеге асырылады. Бірінші кезекте, сөйлеу сигналының уақыттық және/немесе спектрлік ерекшеліктеріне талдау жасалады. Бұл байқау векторын құрайды. Содан кейін бұл ерекшелік сөйлеуді тану бірліктерінің барлық тізбектерімен салыстырылады. Бұл бірліктер фонемалар, буындар немесе толық сөздер болуы мүмкін. Зерттелетін жолдарды шектеу үшін лексикалық декодтау жүйесі қолданылады, сондықтан жүйенің сөздігіндегі (сөздікте) сөздер ғана қарастырылады. Лексикалық декодтау сияқты, жүйе жолы грамматика және синтаксис ережелерімен де шектеледі. Ақырында, семантикалық талдау қолданылады және жүйе танылған тіркесті шығарады. Көптеген HMM қолданбаларының сөйлеуді танудағы шектеулерінің бірі – ағымдағы күйдің тек алдыңғы уақыт қадамындағы күйге тәуелділігі, бұл сөйлеу үшін реалистік емес, себебі тәуелділіктер көбінесе бірнеше уақыт қадамдарына созылады. Баум-Велх алгоритмі сөйлеу синтезі саласында қолданылатын HMM-ді шешуде де кеңінен қолданылады.
Криптоанализ
Баум-Велх алгоритмі жасырын немесе шулы ақпаратты түсіндіру үшін HMM параметрлерін бағалауда жиі қолданылады, соның салдарынан криптоанализде де жиі пайдаланылады. Деректер қауіпсіздігінде бақылаушы дерек ағынынан ақпаратты, берудің барлық параметрлерін білмей-ақ алуға тырысады. Бұл арналық кодтаушыны кері инженериялауды қамтуы мүмкін. HMM және оның нәтижесінде Баум-Велх алгоритмі шифрланған VoIP қоңырауларында айтылған сөз тіркестерін анықтау үшін де қолданылған. Сонымен қатар, HMM криптоанализі кэш уақытының деректерін автоматты түрде зерттеу үшін маңызды құрал болып табылады. Ол алгоритмнің маңызды жай-күйін, мысалы, кілттік мәндерді автоматты түрде табуға мүмкіндік береді.
Прокариоттық
GLIMMER (Gene Locator and Interpolated Markov ModelER) бағдарламалық жасақтамасы – прокариоттық ДНҚ-да кодтаушы аймақтарды анықтауға қолданылған алғашқы гендерді табу бағдарламасы. GLIMMER кодтаушы аймақтарды анықтау және оларды кодтамайтын ДНҚ-дан ажырату үшін Интерполяцияланған Марков модельдерін (IMM) пайдаланады. Соңғы нұсқасы (GLIMMER3) алдыңғы нұсқаларына қарағанда аударма басталу орындарын болжау тұрғысынан жоғары ерекшелікке және дәлдікке ие екені көрсетілді, прокариоттардағы расталған гендермен салыстырғанда 3' орналасуын анықтауда орташа есеппен 99% дәлдік көрсетеді.
Эукариоттық
GENSCAN веб-сервері – бір миллион негіз жұбына (1 Мбж) дейінгі эукариоттық тізбектерді талдауға қабілетті гендік локатор. GENSCAN ДНҚ кодтау аймақтарының жалпы біртекті емес, үш периоды бар, бесінші реттік Марков моделін пайдаланады. Бұл модель сонымен қатар, әртүрлі изохорларда кездесетін ген тығыздығы мен құрылымындағы (мысалы, интрон ұзындығы) айырмашылықтарды ескереді. GENSCAN шығарылған кезде көптеген біріктірілген ген табу бағдарламалары кіріс тізбектерінде дәл бір ген бар деп есептеген, ал GENSCAN ішінара, толық немесе бірнеше гендердің (немесе тіпті геннің жоқтығының) болуын қамтитын жалпы жағдайды шешеді. GENSCAN анотацияланған деректер базасымен салыстырғанда, эксондардың орналасуын 90% дәлдікпен және 80% ерекшелікпен дұрыс болжай алады.
Көшірме санының өзгеруін анықтау
Көшірме санының өзгеруі (CNV) адам геномының құрылымдық вариациясының кең таралған түрі болып табылады. Хромосомалық аймақтарды жеті ерекше күйге жіктеу үшін дискретті мәнді екіайнымалы жасырын Марков моделі (dbHMM) қолданылды: өзгермеген аймақтар, жойылғандар, көбейтілгендер және төрт аралық күй. Бұл модельді Баум-Уэлч әдісімен шешу, микромассивтік эксперименттерден CNV үзіліс нүктесінің орнын шамамен 300 базалық жұпқа дейін болжауға мүмкіндік берді. Мұндай жоғары дәлдік деңгейі бұрынғыдан да нақтырақ түрде әртүрлі CNV-лер мен популяциялар арасындағы байланыстарды анықтауға, CNV популяциялық жиіліктерін зерттеуге және белгілі бір CNV-нің тікелей мұрагерлік үлгісін көрсетуге мүмкіндік береді.