Система машинного перевода METEO: История и применение в Environment Canada

Введение

Система METEO – это система машинного перевода, разработанная специально для перевода ежедневных прогнозов погоды, выпускаемых Environment Canada. С 1981 по 30 сентября 2001 года Environment Canada использовала эту систему для перевода прогнозов, изначально опубликованных на французском языке в провинции Квебек, на английский язык, и прогнозов, изначально опубликованных на английском языке в других канадских провинциях, на французский язык. Впоследствии система METEO была заменена конкурирующей программой по результатам открытого государственного тендера. Система была разработана Джоном Чандиу и часто упоминалась как одна из немногих успешных разработок в области машинного перевода.

История

Система METEO находилась в эксплуатации в Environment Canada с 1982 по 2001 год. Она основана на прототипе, разработанном в 1975–76 годах группой TAUM, известном как TAUM METEO. Первоначальным стимулом для разработки прототипа послужил запрос молодого переводчика, обратившегося в TAUM за помощью в переводе метеорологических бюллетеней в Environment Canada. Поскольку все официальные сообщения, исходящие от правительства Канады, должны быть доступны на французском и английском языках в соответствии с Законом об официальных языках 1969 года, а метеорологические бюллетени представляли собой значительный объем переводов в режиме реального времени, младшим переводчикам приходилось тратить несколько месяцев на подготовку первочерновых переводов, которые затем дорабатывались старшими коллегами. Это была сложная и утомительная работа, обусловленная спецификой английского и французского подязыков, и не слишком благодарная, поскольку срок жизни бюллетеня составлял всего 4 часа. TAUM предложила разработать прототип системы машинного перевода, и Environment Canada согласилась финансировать проект. Прототип был готов через несколько месяцев и включал базовую интеграцию в рабочий процесс перевода (исходные и целевые бюллетени передавались по телексным линиям, а машинный перевод осуществлялся на мейнфрейме). Первая версия системы (METEO 1) была запущена в марте 1977 года на суперкомпьютере Control Data CDC 7600. Чандиу затем покинул группу TAUM, чтобы руководить ее работой и совершенствовать систему, в то время как группа TAUM приступила к другому проекту (TAUM aviation, 1977–81). В течение следующего года Бенуа Туэн внес улучшения в первоначальный прототип и превратил его в операционную систему. Через три года METEO 1 продемонстрировала возможность машинного перевода на базе микрокомпьютера, что удовлетворило Бюро переводов правительства Канады. METEO 1 была официально принята в 1981 году, заменив младших переводчиков в рабочем процессе. Ввиду необходимости высококачественного перевода этап редактирования, выполняемый опытными переводчиками, был сохранен. Качество, измеряемое как процент операций редактирования (вставка или удаление слова засчитывается как 1, замена – как 2) в результатах машинного перевода, достигло 85% в 1985 году. До этого момента часть машинного перевода все еще реализовывалась как последовательность систем Q. Формализм Q-систем – это основанный на правилах SLLP (специализированный язык для лингвистического программирования), изобретенный Аленом Колмерауэром в 1967 году, когда он был постдокторантом в группе TAUM. Позже он изобрел язык Prolog в 1972 году после возвращения во Францию и работы профессором университета в Марселе-Люмини. Поскольку механизм Q-систем был крайне недетерминированным, а используемые структуры данных в некотором смысле слишком простыми, без каких-либо типов данных, таких как строка или число, Чандиу столкнулся с ограничениями в своих усилиях по повышению качества перевода и сокращению времени вычислений до уровня, позволяющего запускать систему на микрокомпьютерах. В 1981 году Чандиу создал новый SLLP, или метаязык для лингвистических приложений, основанный на тех же основных алгоритмических идеях, что и Q-системы, но более детерминированный и предлагающий типизированные метки на узлах дерева. Следуя советам Бернара Вокуа и Колмерауэра, он создал GramR и разработал его для микрокомпьютеров. В 1982 году он смог начать разработку в GramR новой системы для перевода метеорологических бюллетеней на высокопроизводительном микрокомпьютере Cromemco. METEO 2 начала функционировать в 1983 году. Программное обеспечение работало в 48 Кб оперативной памяти с 5 Мб жестким диском для подкачки. METEO 2 стала первым приложением машинного перевода, работавшим на микрокомпьютере. В 1985 году от первоначального прототипа системы не осталось и следа, и она была официально переименована в METEO. Она переводила около 20 миллионов слов в год с английского на французский и 10 миллионов слов с французского на английский, с качеством 97%. Как правило, для отправки бюллетеня на английском языке из Виннипега и получения его на французском языке после машинного перевода и редактирования человеком требовалось 4 минуты. В 1996 году Чандиу разработал специальную версию своей системы (METEO 96), которая использовалась для перевода прогнозов погоды (различных видов бюллетеней), выпускаемых Национальной метеорологической службой США во время летних Олимпийских игр 1996 года в Атланте. Последняя известная версия системы, METEO 5, датируется 1997 годом и работала в сети IBM PC под Windows NT. Она переводила 10 страниц в секунду, но помещалась на дискету объемом 1,44 Мб.

The METEO System was in operational use at Environment Canada from 1982 to 2001. It stems from a prototype developed in 1975 76 by the TAUM Group, known as TAUM METEO. The initial motivation to develop that prototype was that a junior translator came to TAUM to ask for help in translating weather bulletins at Environment Canada. Since all official communications emanating from the Canadian government must be available in French and English, because of the Official Languages Act of 1969, and weather bulletins represent a large amount of translation in real time, junior translators had to spend several months producing first draft translations, which were then revised by seniors. That was a difficult and tedious job, because of the specificities of the English and French sublanguages used, and not very rewarding, as the lifetime of a bulletin is only 4 hours. TAUM proposed to build a prototype MT system, and Environment Canada agreed to fund the project. A prototype was ready after a few months, with basic integration in the workflow of translation (source and target bulletins travelled over telex lines at the time and MT happened on a mainframe computer). The first version of the system (METEO 1) went into operation on a Control Data CDC 7600 supercomputer in March 1977. Chandioux then left the TAUM group to manage its operation and improve it, while the TAUM group embarked on a different project (TAUM aviation, 1977–81). Benoit Thouin made improvements to the initial prototype over the subsequent year, and turned it into an operational system. After three years, METEO 1 had demonstrated the feasibility of microcomputer based machine translation to the satisfaction of the Canadian government's Translation Bureau of Public Works and Government Services Canada. METEO 1 was formally adopted in 1981, replacing the junior translators in the workflow. Because of the need for high quality translation, the revision step, done by senior translators, was maintained. The quality, measured as the percentage of edit operations (inserting or deleting a word counts as 1, replacing as 2) on the MT results, reached 85% in 1985. Until that time, the MT part was still implemented as a sequence of Q systems. The Q systems formalism is a rule based SLLP (Specialized Language for Linguistic Programming) invented by Alain Colmerauer in 1967 as he was a postdoc coopérant at the TAUM group. He later invented the Prolog language in 1972 after returning to France and becoming a university professor in Marseille Luminy. As the engine of the Q systems is highly non deterministic, and the manipulated data structures are in some ways too simple, without any types such as string or number, Chandioux encountered limitations in his efforts to raise translation quality and lower computation time to the point he could run it on microcomputers. In 1981, Chandioux created a new SLLP, or metalanguage for linguistic applications, based on the same basic algorithmic ideas as the Q systems, but more deterministic, and offering typed labels on tree nodes. Following the advice of Bernard Vauquois and Colmerauer, he created GramR, and developed it for microcomputers. In 1982, he could start developing in GramR a new system for translating the weather bulletins on a high end Cromemco microcomputer. METEO 2 went into operation in 1983. The software then ran in 48Kb of central memory with a 5Mb hard disk for paging. METEO 2 was the first MT application to run on a microcomputer. In 1985, the system had nothing left of the initial prototype, and was officially renamed METEO. It translated about 20 million words per year from English into French, and 10 million words from French into English, with a quality of 97%. Typically, it took 4 minutes for a bulletin in English to be sent from Winnipeg and come back in French after MT and human revision. In 1996, Chandioux developed a special version of his system (METEO 96) which was used to translate the weather forecasts (different kinds of bulletins) issued by the US National Weather Service during the 1996 Summer Olympics in Atlanta. The last known version of the system, METEO 5, dates from 1997 and ran on an IBM PC network under Windows NT. It translated 10 pages per second, but was able to fit into a 1.44Mb floppy disk.