Программа проверки грамматики и правописания текста

Введение

Компьютерная программа, проверяющая письменный текст на грамматическую правильность.

Грамматический проверочный модуль, в вычислительной технике, – это программа или часть программы, предназначенная для проверки письменного текста на грамматическую правильность. Грамматические проверочные модули чаще всего реализуются как функция более крупной программы, например, текстового процессора, но также доступны и в виде самостоятельных приложений, которые можно активировать из программ, работающих с редактируемым текстом. Реализация грамматического проверочного модуля основана на использовании обработки естественного языка.

История

Самыми ранними "проверками грамматики" были программы, которые проверяли пунктуацию и стилистические несоответствия, а не полный спектр возможных грамматических ошибок. Первая система называлась Writer's Workbench и представляла собой набор инструментов для написания, который входил в состав систем Unix еще в 1970-х годах. Весь пакет Writer's Workbench включал несколько отдельных инструментов для проверки различных проблем с текстом. Инструмент "diction" проверял текст на наличие многословных, заезженных, клишированных или неправильно использованных фраз. Инструмент выдавал список сомнительных фраз и предлагал варианты улучшения текста. Инструмент "style" анализировал стиль написания заданного текста, проводил ряд тестов на читаемость и выводил результаты, а также предоставлял статистическую информацию о предложениях в тексте. Компания Aspen Software из Альбукерки, штат Нью-Мексико, выпустила самую раннюю версию программы для проверки дикции и стиля для персональных компьютеров – Grammatik – в 1981 году. Grammatik впервые стал доступен для Radio Shack TRS 80, а вскоре появились версии для CP/M и IBM PC. Компания Reference Software International из Сан-Франциско, штат Калифорния, приобрела Grammatik в 1985 году. Разработка Grammatik продолжалась, и он превратился в полноценную программу проверки грамматики, способную обнаруживать ошибки в тексте, выходящие за рамки простой стилистической проверки. Другие ранние программы для проверки дикции и стиля включали Punctuation & Style, Correct Grammar, RightWriter и PowerEdit. Хотя все самые ранние программы начинались как простые проверки дикции и стиля, со временем все они добавили различные уровни обработки языка и приобрели определенные возможности проверки грамматики. До 1992 года программы проверки грамматики продавались как дополнительные приложения. В то время существовало множество различных текстовых редакторов, среди которых WordPerfect и Microsoft Word занимали лидирующие позиции по доле рынка. В 1992 году Microsoft решила добавить проверку грамматики в Word в качестве встроенной функции и лицензировала CorrecText – программу проверки грамматики от Houghton Mifflin, которая еще не продавалась как самостоятельный продукт. WordPerfect ответила на этот шаг Microsoft, приобретя Reference Software, и прямой потомок Grammatik до сих пор входит в состав WordPerfect. По состоянию на 2019 год программы проверки грамматики встроены в такие системы, как Google Docs и Sapling.ai, расширения для браузеров, такие как Grammarly и Qordoba, настольные приложения, такие как Ginger, бесплатное программное обеспечение с открытым исходным кодом, такое как LanguageTool, и плагины для текстовых редакторов, такие как те, что доступны от WebSpellChecker Software.

The earliest "grammar checkers" were programs that checked for punctuation and style inconsistencies, rather than a complete range of possible grammatical errors. The first system was called Writer's Workbench, and was a set of writing tools included with Unix systems as far back as the 1970s. The whole Writer's Workbench package included several separate tools to check for various writing problems. The "diction" tool checked for wordy, trite, clichéd or misused phrases in a text. The tool would output a list of questionable phrases, and provide suggestions for improving the writing. The "style" tool analyzed the writing style of a given text. It performed a number of readability tests on the text and output the results, and gave some statistical information about the sentences of the text. Aspen Software of Albuquerque, New Mexico released the earliest version of a diction and style checker for personal computers, Grammatik, in 1981. Grammatik was first available for a Radio Shack TRS 80, and soon had versions for CP/M and the IBM PC. Reference Software International of San Francisco, California, acquired Grammatik in 1985. Development of Grammatik continued, and it became an actual grammar checker that could detect writing errors beyond simple style checking. Other early diction and style checking programs included Punctuation & Style, Correct Grammar, RightWriter and PowerEdit. While all the earliest programs started out as simple diction and style checkers, all eventually added various levels of language processing, and developed some level of true grammar checking capability. Until 1992, grammar checkers were sold as add on programs. There were a large number of different word processing programs available at that time, with WordPerfect and Microsoft Word the top two in market share. In 1992, Microsoft decided to add grammar checking as a feature of Word, and licensed CorrecText, a grammar checker from Houghton Mifflin that had not yet been marketed as a standalone product. WordPerfect answered Microsoft's move by acquiring Reference Software, and the direct descendant of Grammatik is still included with WordPerfect. As of 2019, grammar checkers are built into systems like Google Docs and Sapling. ai, browser extensions like Grammarly and Qordoba, desktop applications like Ginger, free and open source software like LanguageTool, and text editor plugins like those available from WebSpellChecker Software.

Технические вопросы

Самые ранние программы для проверки стиля проверяли текст на наличие многословных, заезженных, клишированных или неправильно использованных фраз. Этот процесс основывался на простом сопоставлении с образцами. Основным элементом программы был список из сотен или тысяч фраз, которые многие эксперты считают признаком плохой письменной речи. В этот список сомнительных фраз входили альтернативные варианты формулировок для каждой фразы. Программа проверки просто разбивала текст на предложения, искала совпадения в словаре фраз, помечала подозрительные фразы и предлагала альтернативы. Эти программы также могли выполнять некоторые механические проверки. Например, они обычно выявляли повторяющиеся слова, двойную пунктуацию, некоторые ошибки в использовании заглавных букв и другие простые механические погрешности. Настоящая проверка грамматики – задача более сложная. Если язык программирования имеет чёткий синтаксис и грамматику, то для естественных языков это не так. Можно составить достаточно полную формальную грамматику для естественного языка, но в реальном использовании обычно столько исключений, что формальная грамматика мало помогает при создании программы проверки грамматики. Один из важнейших компонентов грамматического анализатора естественного языка – это словарь всех слов языка с указанием части речи каждого слова. Тот факт, что одно и то же слово может использоваться в качестве разных частей речи (например, слово "free" может быть прилагательным, наречием, существительным или глаголом) значительно усложняет работу грамматического анализатора. Программа проверки грамматики находит каждое предложение в тексте, ищет каждое слово в словаре, а затем пытается синтаксически разобрать предложение, чтобы оно соответствовало грамматическим правилам. Используя различные правила, программа может выявлять различные ошибки, такие как согласование во времени, числе, порядке слов и так далее. Также можно обнаружить некоторые стилистические недостатки текста. Например, в некоторых популярных руководствах по стилю, таких как "Элементы стиля", критикуется чрезмерное использование пассивного залога. Программы проверки грамматики могут пытаться определить пассивные предложения и предлагать активные аналоги. Программные компоненты, необходимые для проверки грамматики, тесно связаны с некоторыми проблемами разработки, которые необходимо решить при создании программного обеспечения для распознавания речи. В системах распознавания голоса синтаксический анализ может использоваться для предсказания наиболее вероятного слова на основе его части речи и положения в предложении. При проверке грамматики синтаксический анализ используется для выявления слов, которые не соответствуют принятым грамматическим нормам. В последнее время исследования сосредоточены на разработке алгоритмов, способных распознавать грамматические ошибки на основе контекста окружающих слов.

The earliest writing style programs checked for wordy, trite, clichéd, or misused phrases in a text. This process was based on simple pattern matching. The heart of the program was a list of many hundreds or thousands of phrases that are considered poor writing by many experts. The list of questionable phrases included alternative wording for each phrase. The checking program would simply break text into sentences, check for any matches in the phrase dictionary, flag suspect phrases and show an alternative. These programs could also perform some mechanical checks. For example, they would typically flag doubled words, doubled punctuation, some capitalization errors, and other simple mechanical mistakes. True grammar checking is more complex. While a programming language has a very specific syntax and grammar, this is not so for natural languages. One can write a somewhat complete formal grammar for a natural language, but there are usually so many exceptions in real usage that a formal grammar is of minimal help in writing a grammar checker. One of the most important parts of a natural language grammar checker is a dictionary of all the words in the language, along with the part of speech of each word. The fact that a natural word may be used as any one of several parts of speech (such as "free" being used as an adjective, adverb, noun, or verb) greatly increases the complexity of any grammar checker. A grammar checker will find each sentence in a text, look up each word in the dictionary, and then attempt to parse the sentence into a form that matches a grammar. Using various rules, the program can then detect various errors, such as agreement in tense, number, word order, and so on. It is also possible to detect some stylistic problems with the text. For example, some popular style guides such as The Elements of Style deprecate excessive use of the passive voice. Grammar checkers may attempt to identify passive sentences and suggest an active voice alternative. The software elements required for grammar checking are closely related to some of the development issues that need to be addressed for speech recognition software. In voice recognition, parsing can be used to help predict which word is most likely intended, based on part of speech and position in the sentence. In grammar checking, the parsing is used to detect words that fail to follow accepted grammar usage. Recently, research has focused on developing algorithms which can recognize grammar errors based on the context of the surrounding words.

Критика

Грамматические проверки рассматриваются как вид вспомогательного инструмента для написания на иностранном языке, который носители языка, не являющиеся родными, могут использовать для вычитки своих текстов, поскольку такие программы стремятся выявлять синтаксические ошибки. Однако, как и другие компьютерные средства для работы с текстом, такие как проверка орфографии, популярные грамматические проверки часто подвергаются критике, когда они не обнаруживают ошибки и ошибочно помечают корректный текст как ошибочный. Лингвист Джеффри К. Пуллум в 2007 году утверждал, что они, как правило, настолько неточны, что приносят больше вреда, чем пользы: "В большинстве случаев следование советам компьютерной грамматической проверки ухудшит ваш текст, порой до абсурдной бессвязности".