Google Translate: Многоязычный сервис машинного перевода

Введение

Многоязычный нейронный сервис машинного перевода

Google Translate — это многоязычный нейронный сервис машинного перевода, разработанный компанией Google для перевода текста, документов и веб-сайтов с одного языка на другой. Он предоставляет веб-интерфейс, мобильное приложение для Android и iOS, а также API, помогающий разработчикам создавать расширения для браузеров и программные приложения. По состоянию на 2022 год Google Translate поддерживает языки на разных уровнях. В 2016 году сервис насчитывал более 500 миллионов пользователей, ежедневно переводя более 100 миллиардов слов, после того как компания заявила в мае 2013 года, что ежедневно обслуживает более 200 миллионов пользователей. Запущенный в апреле 2006 года как сервис статистического машинного перевода, он изначально использовал документы и стенограммы Организации Объединенных Наций и Европейского парламента для сбора лингвистических данных, перевода текста на английский язык, а затем перевода на целевой язык. В последние годы для осуществления переводов используется модель глубокого обучения. Его точность, которая неоднократно подвергалась критике, значительно варьируется в зависимости от языка.

История

Google Translate — это веб-сервис перевода, разработанный Google в апреле 2006 года. Он переводит различные виды текстов и медиа, такие как слова, фразы и веб-страницы. Изначально Google Translate был выпущен как сервис статистического машинного перевода. Он способен сканировать текст или изображение с помощью устройства и переводить его мгновенно. Более того, система автоматически определяет иностранные языки и переводит речь, не требуя от пользователя нажатия кнопки микрофона при необходимости перевода речи. Он использует методы глубокого обучения для перевода целых предложений, что, как показали измерения, обеспечивает более высокую точность при переводе с английского на французский, немецкий, испанский и китайский языки. Исследователи Google не предоставили результатов измерений для GNMT с английского на другие языки, с других языков на английский или для языковых пар, не включающих английский язык. По состоянию на 2018 год он переводит более 100 миллиардов слов в день. В конце сентября 2022 года Google Translate был отключен в материковом Китае, что Google объяснил "низким уровнем использования".

Функции

Google Translate может переводить различные формы текста и медиа, включая текст, речь и текст на статичных или движущихся изображениях. В частности, его функции включают: Перевод письменного текста: функция, которая переводит письменные слова или текст на иностранный язык. Перевод веб-сайтов: функция, которая переводит целую веб-страницу на выбранные языки. Перевод документов: функция, которая переводит документ, загруженный пользователями, на выбранные языки. Документы должны быть в одном из следующих форматов: doc, docx, odf, pdf, ppt, pptx, ps, rtf, txt, xls, xlsx. Перевод мобильных приложений: в 2018 году Google представила новую функцию Google Translate под названием «Нажать, чтобы перевести», которая сделала мгновенный перевод доступным внутри любого приложения без его закрытия или переключения. Перевод изображений: функция, которая распознает текст на изображении, сделанном пользователями, и мгновенно переводит текст на экране по изображению. Перевод рукописного текста: функция, которая переводит текст, написанный от руки на экране телефона или нарисованный на виртуальной клавиатуре без использования клавиатуры. Перевод двуязычных бесед: функция, которая переводит беседы на несколько языков. Транскрипция: функция, которая преобразует речь в текст на разных языках. Для большинства своих функций Google Translate предоставляет произношение, словарь и возможность прослушать перевод. Кроме того, Google Translate разработал собственное приложение Translate, благодаря которому перевод доступен на мобильном телефоне в автономном режиме. Было замечено, что сервис придумывает переводы на все языки для слов, которые он не распознает. Если выбрана опция «Определить язык», текст на неизвестном языке может быть автоматически идентифицирован. В веб-интерфейсе пользователи могут предлагать альтернативные переводы, например, для технических терминов, или исправлять ошибки. Эти предложения могут быть учтены в будущих обновлениях процесса перевода. Если пользователь вводит URL в исходный текст, Google Translate создаст гиперссылку на машинный перевод веб-сайта. Для некоторых языков текст можно вводить с помощью экранной клавиатуры, распознавания рукописного текста или распознавания речи. В феврале 2010 года Google Translate был интегрирован в браузер Google Chrome по умолчанию для опционального автоматического перевода веб-страниц.

Google Translate can translate multiple forms of text and media, which includes text, speech, and text within still or moving images. Specifically, its functions include:
Written Words Translation: a function that translates written words or text to a foreign language. Website Translation: a function that translates a whole webpage to selected languages. Document Translation: a function that translates a document uploaded by the users to selected languages. The documents should be in the form of: doc, docx, odf, pdf, ppt, pptx, ps, rtf, txt, xls, xlsx. Mobile App Translation: in 2018, Google introduced its new Google Translate feature called "Tap to Translate", which made instant translation accessible inside any app without exiting or switching it. Image Translation: a function that identifies text in a picture taken by the users and translates text on the screen instantly by images. Handwritten Translation: a function that translates language that are handwritten on the phone screen or drawn on a virtual keyboard without the support of a keyboard. Bilingual Conversation Translation: a function that translates conversations in multiple languages. Transcription: a function that transcribes speech in different languages. For most of its features, Google Translate provides the pronunciation, dictionary, and listening to translation. Additionally, Google Translate has introduced its own Translate app, so translation is available with a mobile phone in offline mode. and has been shown to invent translations in all languages for words it does not recognize. If "Detect language" is selected, text in an unknown language can be automatically identified. In the web interface, users can suggest alternate translations, such as for technical terms, or correct mistakes. These suggestions may be included in future updates to the translation process. If a user enters a URL in the source text, Google Translate will produce a hyperlink to a machine translation of the website. For some languages, text can be entered via an on screen keyboard, through handwriting recognition, or speech recognition. In February 2010, Google Translate was integrated into the Google Chrome browser by default, for optional automatic webpage translation.

Мобильное приложение

Приложение Google Translate для Android и iOS поддерживает языки и может предлагать переводы на 37 языков по фото, 32 – по голосовому вводу в "режиме разговора" и 27 – по видео в режиме "дополненной реальности". Приложение для Android было выпущено в январе 2010 года, а для iOS – 8 февраля 2011 года, после выпуска веб-приложения HTML5 для пользователей iOS в августе 2008 года. Приложение для Android совместимо с устройствами, работающими на базе Android 8.0 и выше, а приложение для iOS – с iPhone и iPad, обновленными до iOS 16.0+. В январе 2011 года в версии для Android был протестирован "режим разговора", призванный обеспечить свободное общение между пользователями, говорящими на разных языках. Изначально функция поддерживала только английский и испанский языки, а в октябре следующего года была расширена поддержкой 12 новых языков, находившихся на стадии тестирования. Функция "ввод с камеры" позволяет пользователям фотографировать документы, вывески и т. п. Google Translate распознает текст на изображении с помощью технологии оптического распознавания символов (OCR) и предоставляет перевод. Ввод с камеры недоступен для всех языков. В январе 2015 года приложения получили возможность переводить надписи на физических носителях в режиме реального времени с помощью камеры устройства, благодаря приобретению Google приложения Word Lens. Позже функция была переименована в Instant Camera. Технология, лежащая в основе Instant Camera, объединяет обработку изображений и оптическое распознавание символов, а затем пытается найти межъязыковые соответствия, используя стандартные оценки Google Translate для распознанного текста. 11 мая 2016 года Google представил функцию Tap to Translate для Google Translate на Android. При выделении текста в приложении на иностранном языке, Translate появляется внутри приложения и предлагает варианты перевода.

API

26 мая 2011 года Google объявил об устаревании API Google Translate для разработчиков программного обеспечения и его прекращении работы. На странице API Google Translate причиной этого было названо "существенное экономическое бремя, вызванное масштабными злоупотреблениями", а датой окончания работы – 1 декабря 2011 года. Под давлением общественности в июне 2011 года Google объявил, что API останется доступным как платный сервис. Поскольку API использовался во множестве сторонних веб-сайтов и приложений, первоначальное решение об устаревании вызвало критику со стороны некоторых разработчиков и поставило под сомнение целесообразность использования API Google в их продуктах.

Помощник Google

Google Translate также предоставляет переводы для Google Ассистента и устройств, поддерживающих Google Ассистента, таких как Google Nest и Pixel Buds.

Сообщество Google Translate

У Google есть инструменты краудсорсинга, позволяющие волонтерам участвовать в "Сообществе переводчиков" для повышения точности Google Translate. Волонтеры могут выбрать до пяти языков, чтобы помогать в улучшении перевода. Пользователи могут проверять переведенные фразы и переводить фразы со своего языка на английский и с английского на свой язык, что способствует повышению точности перевода редких и сложных выражений. В августе 2016 года для пользователей Android было выпущено приложение Google Crowdsource, предлагающее задания по переводу. Существует три способа внести вклад. Первый – Google покажет фразу, которую необходимо ввести в переводе.

Статистический машинный перевод

Хотя Google внедрила новую систему под названием нейронный машинный перевод для повышения качества перевода, существуют языки, которые по-прежнему используют традиционный метод перевода, называемый статистическим машинным переводом. Это метод перевода, основанный на правилах, который использует прогностические алгоритмы для определения способов перевода текстов на иностранные языки. Он стремится переводить целые фразы, а не отдельные слова, а затем объединяет перекрывающиеся фразы для перевода. Более того, он также анализирует двуязычные текстовые корпуса для создания статистической модели, которая переводит тексты с одного языка на другой.

Google нейронный машинный перевод

В сентябре 2016 года исследовательская группа Google объявила о разработке системы Google Neural Machine Translation (GNMT) для повышения плавности и точности в Google Translate, а в ноябре сообщила, что Google Translate перейдет на использование GNMT. Система нейронного машинного перевода Google Translate использовала большую сквозную искусственную нейронную сеть, которая стремится к глубокому обучению, в частности, сети долгой краткосрочной памяти. GNMT улучшила качество перевода по сравнению с SMT в некоторых случаях, поскольку использует метод машинного перевода на основе примеров (EBMT), в котором система "обучается на миллионах примеров". GNMT была впервые активирована для восьми языков: английского и китайского, французского, немецкого, японского, корейского, португальского, испанского и турецкого, а затем, в апреле, для бенгальского, гуджарати, индонезийского, каннада, малаялам, маратхи, панджаби, тамильского и телугу.

Трансформаторные сети

С 2020 года Google постепенно отказался от GNMT и внедрил нейронные сети глубокого обучения, основанные на архитектуре Transformer.

Точность

Google Translate не так надежен, как человеческий перевод. Когда текст хорошо структурирован, написан формальным языком, состоит из простых предложений и относится к формальным темам, для которых имеется достаточное количество обучающих данных, он часто выдает результаты, сопоставимые с человеческим переводом между английским и рядом языков с богатыми ресурсами. Оценка, проведенная людьми, показала, что основная идея текста передается более чем в 50% случаев для 35 языков при переводе с английского на все 102 языка. Для 67 языков минимально понятный результат не достигается в 50% случаев и более. Исследование 2011 года показало, что Google Translate набрал немного больше баллов, чем минимальный проходной балл UCLA для экзамена по знанию английского языка. Благодаря неизменному выбору слов, без учета возможности использования альтернативных вариантов, он производит перевод, сравнимый с человеческим с точки зрения формальности, референциальной и концептуальной связности. Кроме того, для ряда языков структура и длина предложений, получаемые при переводе, схожи с теми, что используются человеком. Это делает вероятность правильного перевода примерно 15 к 1, если каждое значение слова сопоставляется с отдельным словом в целевом языке. Большинство распространенных английских слов имеют как минимум два значения, что дает 50/50 шанс в вероятном случае, когда целевой язык использует разные слова для этих значений. Вероятности аналогичны и для других языков. Google Translate делает статистические предположения, повышающие вероятность выбора наиболее часто встречающегося значения слова, что приводит к невозможности получения точного перевода в случаях, не соответствующих преобладающему или множественному употреблению в корпусе. Точность предсказания отдельных слов не измерялась ни для одного языка. Поскольку почти все пары языков, отличных от английского, используют английский в качестве промежуточного языка, вероятность получения точного перевода отдельного слова с одного неанглийского языка на другой можно оценить, умножив количество значений в исходном языке на количество значений, которые каждый из этих терминов имеет в английском языке. Если Google Translate не находит слово в своем словаре, он генерирует результат в рамках своего алгоритма. В Google Translate не включены языки коренных народов Австралии. Более высокие оценки для европейских языков частично объясняются наличием корпуса Europarl – обширной коллекции документов Европейского парламента, профессионально переведенных по заказу Европейского Союза на 21 язык. Анализ 2010 года показал, что перевод с французского на английский относительно точен, а анализ 2011 и 2012 годов подтвердил относительную точность перевода с итальянского на английский. Однако, если исходный текст короче, машинный перевод, основанный на правилах, часто показывает лучшие результаты; этот эффект особенно заметен при переводе с китайского на английский. Хотя предлагать правки к переводам возможно, в китайском языке нельзя редактировать предложения целиком. Вместо этого приходится редактировать иногда произвольные наборы символов, что приводит к ошибочным исправлениям. Слово в иностранном языке может иметь два разных значения в языке перевода, что может приводить к неверным переводам. Кроме того, грамматические ошибки остаются серьезным ограничением точности Google Translate.

Google Translate is not as reliable as human translation. When text is well structured, written using formal language, with simple sentences, relating to formal topics for which training data is ample, it often produces conversions similar to human translations between English and a number of high resource languages. Human evaluation from English to all 102 languages shows that the main idea of a text is conveyed more than 50% of the time for 35 languages. For 67 languages, a minimally comprehensible result is not achieved 50% of the time or greater. Research conducted in 2011 showed that Google Translate got a slightly higher score than the UCLA minimum score for the English Proficiency Exam. Due to its identical choice of words without considering the flexibility of choosing alternative words or expressions, it produces a relatively similar translation to human translation from the perspective of formality, referential cohesion, and conceptual cohesion. Moreover, a number of languages are translated into a sentence structure and sentence length similar to a human translation. which makes the odds against a correct translation about 15 to 1 if each sense maps to a different word in the target language. Most common English words have at least two senses, which produces 50/50 odds in the likely case that the target language uses different words for those different senses. The odds are similar from other languages to English. Google Translate makes statistical guesses that raise the likelihood of producing the most frequent sense of a word, with the consequence that an accurate translation will be unobtainable in cases that do not match the majority or plurality corpus occurrence. The accuracy of single word predictions has not been measured for any language. Because almost all non English language pairs pivot through English, the odds against obtaining accurate single word translations from one non English language to another can be estimated by multiplying the number of senses in the source language with the number of senses each of those terms have in English. When Google Translate does not have a word in its vocabulary, it makes up a result as part of its algorithm. No languages indigenous to Australia are included within Google Translate. Higher scores for European can be partially attributed to the Europarl Corpus, a trove of documents from the European Parliament that have been professionally translated by the mandate of the European Union into as many as 21 languages. A 2010 analysis indicated that French to English translation is relatively accurate, and 2011 and 2012 analyses showed that Italian to English translation is relatively accurate as well. However, if the source text is shorter, rule based machine translations often perform better; this effect is particularly evident in Chinese to English translations. While edits of translations may be submitted, in Chinese specifically one cannot edit sentences as a whole. Instead, one must edit sometimes arbitrary sets of characters, leading to incorrect edits. A word in a foreign language might have two different meanings in the translated language. This might lead to mistranslations. Additionally, grammatical errors remain a major limitation to the accuracy of Google Translate.

Лицензии с открытым исходным кодом и компоненты

Язык WordNet Лицензия Албанский Albanet CC BY 3.0/GPL 3 Арабский Арабский WordNet CC BY SA 3.0 Каталонский Многоязычный Центральный Репозиторий CC BY 3.0 Китайский Китайский Wordnet Wordnet Датский DanNet Wordnet Английский Принстонский WordNet Wordnet Финский FinnWordNet Wordnet Французский WOLF (WOrdnet Libre du Français) CeCILL C Галисийский Многоязычный Центральный Репозиторий CC BY 3.0 Гаитянский креольский MIT Haiti Initiative CC BY 4.0 Ивритский Hebrew Wordnet Wordnet Индонезийский Wordnet Bahasa MIT Итальянский MultiWordNet CC BY 3.0 Японский Японский Wordnet Wordnet Малайский Wordnet Bahasa MIT Норвежский Norwegian Wordnet Wordnet Персидский Persian Wordnet Свободное использование Польский plWordNet Wordnet Португальский OpenWN PT CC BY SA 3.0 Испанский Многоязычный Центральный Репозиторий CC BY 3.0 Тайский Thai Wordnet Wordnet

Данные на ирландском языке из Нового англо-ирландского словаря (база данных, разработанная и созданная для Foras na Gaeilge компанией Lexicography MasterClass Ltd.).

Данные на валлийском языке из Gweiadur от Gwerin. Определённые материалы защищены авторским правом Oxford University Press USA. Некоторые фразовые переводы взяты с Wikitravel.

Отзывы

Вскоре после первого запуска сервиса перевода, Google выиграл международный конкурс по машинному переводу с английского на арабский и с английского на китайский.

Ошибки перевода и странности

Поскольку Google Translate использовал статистическое сопоставление при переводе, переведенный текст часто содержит кажущиеся бессмысленными и явные ошибки, нередко заменяя общеупотребительные слова на похожие, но не эквивалентные в другом языке, а также искажая смысл предложений. Сайты, специализирующиеся на юморе, такие как Bad Translator и Translation Party, используют этот сервис для создания забавных текстов, многократно переводя их между разными языками, подобно игре в испорченный телефон.