Кіріспе
Статистикалық модельдеу әдістерінің класы. Шартты кездейсоқ өрістер (CRF) – үлгіні тану және машиналық оқыту салаларында жиі қолданылатын, құрылымдалған болжамдар жасауға арналған статистикалық модельдеу әдістерінің класы. Классификатор жеке үлгі үшін "құрсаудағы" үлгілерді ескермей-ақ бір белгіні болжайды, ал CRF контексті ескере алады. Мұны іске асыру үшін болжамдар графикалық модель түрінде ұсынылады, ол болжамдар арасындағы тәуелділіктерді көрсетеді. Қандай типтегі граф қолданылатыны қолданбаға байланысты. Мысалы, табиғи тілді өңдеуде "сызықтық тізбек" CRF-тері кең таралған, онда әрбір болжам тікелей көршілеріне ғана тәуелді болады. Кескін өңдеуде граф әдетте жақын және/немесе ұқсас орналасқан жерлерді байланыстырады, оларға ұқсас болжамдар берілуін қамтамасыз етеді. CRF-тер қолданылатын басқа мысалдар: табиғи тілді өңдеу немесе биологиялық тізбектер үшін реттік деректерді белгілеу немесе талдау, сөз таптарын анықтау, беткей талдау, атаулы объектілерді тану, генді табу, пептидтік маңызды функционалдық аймақтарды табу, сондай-ақ компьютерлік көрудегі объектілерді тану және кескінді сегменттеу.
Conditional random fields (CRFs) are a class of statistical modeling methods often applied in pattern recognition and machine learning and used for structured prediction. Whereas a classifier predicts a label for a single sample without considering "neighbouring" samples, a CRF can take context into account. To do so, the predictions are modelled as a graphical model, which represents the presence of dependencies between the predictions. What kind of graph is used depends on the application. For example, in natural language processing, "linear chain" CRFs are popular, for which each prediction is dependent only on its immediate neighbours. In image processing, the graph typically connects locations to nearby and/or similar locations to enforce that they receive similar predictions. Other examples where CRFs are used are: labeling or parsing of sequential data for natural language processing or biological sequences, part of speech tagging, shallow parsing, named entity recognition, gene finding, peptide critical functional region finding, and object recognition and image segmentation in computer vision.
Параметрлерді үйрену
Параметрлерді үйрену әдетте ең жоғары ықтималдық арқылы жүзеге асырылады. Егер барлық түйіндер экспоненциалдық отбасы үлестіріміне ие болса және барлық түйіндер оқыту кезінде байқалса, бұл оңтайландыру дөңгелек болады. Бірақ, жақындағы тағы бір жетістік, Байес параметрсіздігі саласының ұғымдары мен құралдарын пайдаланып, бұл мәселелерді жеңілдетуге мүмкіндік берді. Атап айтқанда, CRF infinity тәсілі – шексіз ұзақ уақыт динамикасын кеңейте білетін CRF түріндегі модельді құрайды. Бұл CRF үшін жаңа потенциалдық функцияны енгізу арқылы іске асырылады, ол тізбекті жадтаушыға (SM) негізделген, ол тізбектік байқауларда шексіз ұзақ динамиканы үйренуге арналған параметрсіз Байес моделі. Мұндай модельді есептеу жағынан қолдануға ыңғайлы ету үшін, CRF infinity (SM арқылы басқарылатын) жаңа потенциалдық функциялардың орташа өріс жуықтауын қолданады. Бұл модельдің кез келген ұзындықтағы уақыт тәуелділіктерін түсіріп алу және модельдеу қабілетін төмендетпей, тиімді жуық оқыту және қорытындылау алгоритмдерін жасауға мүмкіндік береді. CRF-тің тағы бір жалпылауы – жартылай Марков шартты кездейсоқ өріс (жартылай CRF), ол белгілер тізбегінің өзгермелі ұзындықтағы сегментацияларын модельдейді. Бұл, ұзақ қашықтықтағы тәуелділіктерді модельдеу үшін жоғары реттік CRF-тің қуатын, қолайлы есептеу шығынымен қамтамасыз етеді. Соңында, құрылымдық болжамдар үшін үлкен маржалы модельдер, мысалы, құрылымдық қолдау вектор машинасы, CRF-ке балама оқыту процедурасы ретінде қарастырылуы мүмкін.
However, another recent advance has managed to ameliorate these issues by leveraging concepts and tools from the field of Bayesian nonparametrics. Specifically, the CRF infinity approach constitutes a CRF type model that is capable of learning infinitely long temporal dynamics in a scalable fashion. This is effected by introducing a novel potential function for CRFs that is based on the Sequence Memoizer (SM), a nonparametric Bayesian model for learning infinitely long dynamics in sequential observations. To render such a model computationally tractable, CRF infinity employs a mean field approximation of the postulated novel potential functions (which are driven by an SM). This allows for devising efficient approximate training and inference algorithms for the model, without undermining its capability to capture and model temporal dependencies of arbitrary length. There exists another generalization of CRFs, the semi Markov conditional random field (semi CRF), which models variable length segmentations of the label sequence This provides much of the power of higher order CRFs to model long range dependencies of the , at a reasonable computational cost. Finally, large margin models for structured prediction, such as the structured Support Vector Machine can be seen as an alternative training procedure to CRFs.
Латентті-динамикалық шартты кездейсоқ өріс
Жасырын динамикалық шартты кездейсоқ өрістер (LDCRF) немесе дискриминациялық ықтималдық жасырын айнымалы модельдер (DPLVM) – тізбекті таңбалау міндеттері үшін қолданылатын CRF-тің бір түрі. Бұл дискриминативті оқытылатын жасырын айнымалы модельдер. LDCRF-де, кез келген тізбекті таңбалау міндеті сияқты, бақылаулар тізбегі x = болғанда, модельдің шешуі керек негізгі мәселе – бір шекті белгілер жиынынан y = белгілер тізбегін қалай тағайындау болып табылады. Қарапайым сызықтық тізбек CRF сияқты P(y|x) ықтималдығын тікелей модельдеудің орнына, жасырын айнымалылардың h жиынтығы ықтималдықтың тізбектік ережесін пайдалана отырып, x және y арасына "енгізіледі":
Бұл бақылаулар мен белгілер арасындағы жасырын құрылымды анықтауға мүмкіндік береді. LDCRF-терді квази-Ньютон әдістерін қолдана отырып оқытуға болады, сонымен қатар олар үшін Коллинстің құрылымдалған перцептрон алгоритміне негізделген перцептрон алгоритмінің жасырын айнымалы перцептрон деп аталатын арнайы нұсқасы әзірленген. Бұл модельдер компьютерлік көруде, әсіресе бейне ағындарынан әрекеттерді тану және беткейлік синтаксистік талдауда қолданылады.