Введение
Выявление связей перевода между словами в битексте, выравнивание слов естественного языка. Выравнивание слов битекста, или просто выравнивание слов, – это задача обработки естественного языка, заключающаяся в определении связей перевода между словами (или реже – многословными единицами) в битексте. Результатом является двудольный граф между двумя сторонами битекста, с дугой между двумя словами, если и только если они являются переводами друг друга. Выравнивание слов обычно выполняется после того, как выравнивание предложений уже определило пары предложений, являющихся переводами друг друга. Выравнивание слов битекста является важной вспомогательной задачей для большинства методов статистического машинного перевода. Параметры статистических моделей машинного перевода обычно оцениваются на основе наблюдений за выровненными битекстами, и, наоборот, автоматическое выравнивание слов обычно выполняется путем выбора выравнивания, которое наилучшим образом соответствует статистической модели машинного перевода. Круговое применение этих двух подходов приводит к реализации алгоритма максимизации ожиданий. Этот подход к обучению является примером обучения без учителя, поскольку системе не предоставляются примеры желаемого результата, а она пытается найти значения для не наблюдаемой модели и выравнивания, которые наилучшим образом объясняют наблюдаемый битекст. Недавние исследования начали изучать контролируемые методы, основанные на предоставлении системе (обычно небольшого) количества предложений, выровненных вручную. Помимо преимуществ, связанных с дополнительной информацией, предоставляемой обучением с учителем, эти модели обычно также могут легче использовать преимущества объединения множества признаков данных, таких как контекст, синтаксическая структура, часть речи или информация из лексикона перевода, которые трудно интегрировать в генеративные статистические модели, традиционно используемые. Помимо обучения систем машинного перевода, другие области применения выравнивания слов включают индукцию лексиконов перевода, обнаружение значений слов, устранение неоднозначности значений слов и межъязыковую проекцию лингвистической информации.
aligning natural language words
Bitext word alignment or simply word alignment is the natural language processing task of identifying translation relationships among the words (or more rarely multiword units) in a bitext, resulting in a bipartite graph between the two sides of the bitext, with an arc between two words if and only if they are translations of one another. Word alignment is typically done after sentence alignment has already identified pairs of sentences that are translations of one another. Bitext word alignment is an important supporting task for most methods of statistical machine translation. The parameters of statistical machine translation models are typically estimated by observing word aligned bitexts, and conversely automatic word alignment is typically done by choosing that alignment which best fits a statistical machine translation model. Circular application of these two ideas results in an instance of the expectation maximization algorithm. This approach to training is an instance of unsupervised learning, in that the system is not given examples of the kind of output desired, but is trying to find values for the unobserved model and alignments which best explain the observed bitext. Recent work has begun to explore supervised methods which rely on presenting the system with a (usually small) number of manually aligned sentences. In addition to the benefit of the additional information provided by supervision, these models are typically also able to more easily take advantage of combining many features of the data, such as context, syntactic structure, part of speech, or translation lexicon information, which are difficult to integrate into the generative statistical models traditionally used. Besides the training of machine translation systems, other applications of word alignment include translation lexicon induction, word sense discovery, word sense disambiguation and the cross lingual projection of linguistic information.
HMM
Вогель и др. разработали подход, основанный на вероятностях лексического перевода и относительном выравнивании, путем сопоставления задачи с моделью скрытых Марковых цепей. Состояния и наблюдения соответствуют исходным и целевым словам, соответственно. Вероятности переходов моделируют вероятности выравнивания. При обучении вероятности перевода и выравнивания могут быть получены в алгоритме прямого и обратного прохода (Forward-backward).