Мәтінді грамматикалық тұрғыдан тексеру бағдарламасы

Кіріспе

Жазылған мәтіннің грамматикалық дұрыстығын тексеруге арналған компьютерлік бағдарлама.

Грамматикалық тексеруші – есептеу техникасы терминдерінде, жазылған мәтіннің грамматикалық дұрыстығын тексеруге тырысатын бағдарлама немесе бағдарламаның бір бөлігі. Грамматикалық тексерушілер көбінесе мәтін өңдеуші сияқты үлкен бағдарламаның бір мүмкіндігі ретінде іске асырылады, бірақ өңделінетін мәтінмен жұмыс істейтін бағдарламалардың ішінде іске қосылатын жеке қосымша ретінде де қолжетімді. Грамматикалық тексеруді іске асыруда табиғи тілді өңдеу пайдаланылады.

Тарих

Ең алғашқы "грамматикалық тексерушілер" грамматикалық қателердің толық спектріне қарағанда, пунктуация мен стильдік сәйкессіздіктерді тексеруге арналған бағдарламалар болды. Алғашқы жүйе Writer's Workbench деп аталды және ол 1970 жылдардың басынан бері Unix жүйелерімен бірге келетін жазу құралдары жиынтығы еді. Writer's Workbench жиынтығына әртүрлі жазу мәселелерін тексеру үшін бірнеше жеке құралдар кірді. "Дикция" құралы мәтіндегі ауыр, ескірген, клишелі немесе дұрыс қолданылмаған тіркестерді тексерді. Құрал күмәнді тіркестердің тізімін шығарып, жазуды жақсарту бойынша ұсыныстар берді. "Стиль" құралы берілген мәтіннің жазу стилін талдады. Ол мәтіннің оқуға қолайлылығын тексерді, нәтижелерді көрсетті және мәтіннің сөйлемдері туралы статистикалық ақпарат ұсынды. Нью-Мексико штатының Альбукерки қаласындағы Aspen Software компаниясы 1981 жылы жеке компьютерлер үшін дикция мен стильді тексерудің алғашқы нұсқасын – Grammatik-ті шығарды. Grammatik алғаш рет Radio Shack TRS 80 үшін қолжетімді болды, содан кейін CP/M және IBM PC нұсқалары пайда болды. Калифорния штатының Сан-Франциско қаласындағы Reference Software International компаниясы 1985 жылы Grammatik-ті сатып алды. Grammatik-тің дамуы жалғасты, ол жай ғана стильді тексеруден асып, жазу қателерін анықтай алатын нағыз грамматикалық тексерушіге айналды. Басқа ерте дикция және стильді тексеру бағдарламаларына Punctuation & Style, Correct Grammar, RightWriter және PowerEdit кірді. Барлық алғашқы бағдарламалар қарапайым дикция және стильді тексерушілер ретінде басталып, бірте-бірте тілді өңдеудің әртүрлі деңгейлерін қосып, грамматикалық тексеру қабілеттерін дамытты. 1992 жылға дейін грамматикалық тексерушілер қосымша бағдарламалар ретінде сатылды. Сол кезде WordPerfect және Microsoft Word ең көп таралған WordPerfect және Microsoft Word сияқты көптеген мәтін өңдеу бағдарламалары болды. 1992 жылы Microsoft Word-қа грамматикалық тексеруді мүмкіндік ретінде қосуға шешім қабылдады және Houghton Mifflin компаниясынан CorrecText грамматикалық тексерушіге лицензия алды, ол әлі жеке өнім ретінде сатылмаған еді. WordPerfect Microsoft-тың бұл қадамына Reference Software компаниясын сатып алып жауап берді, ал Grammatik-тің тікелей мұрагері бүгінге дейін WordPerfect жиынтығына кіреді. 2019 жылдың қазіргі күніне дейін грамматикалық тексерушілер Google Docs және Sapling сияқты жүйелерге, Grammarly және Qordoba сияқты браузерлерге арналған кеңейтулерге, Ginger сияқты десктоптық қолданбаларға, LanguageTool сияқты тегін және ашық кодты бағдарламалық жасақтамаларға және WebSpellChecker бағдарламалық жасақтамасынан қолжетімді мәтін редакторының плагиндеріне енгізілген.

The earliest "grammar checkers" were programs that checked for punctuation and style inconsistencies, rather than a complete range of possible grammatical errors. The first system was called Writer's Workbench, and was a set of writing tools included with Unix systems as far back as the 1970s. The whole Writer's Workbench package included several separate tools to check for various writing problems. The "diction" tool checked for wordy, trite, clichéd or misused phrases in a text. The tool would output a list of questionable phrases, and provide suggestions for improving the writing. The "style" tool analyzed the writing style of a given text. It performed a number of readability tests on the text and output the results, and gave some statistical information about the sentences of the text. Aspen Software of Albuquerque, New Mexico released the earliest version of a diction and style checker for personal computers, Grammatik, in 1981. Grammatik was first available for a Radio Shack TRS 80, and soon had versions for CP/M and the IBM PC. Reference Software International of San Francisco, California, acquired Grammatik in 1985. Development of Grammatik continued, and it became an actual grammar checker that could detect writing errors beyond simple style checking. Other early diction and style checking programs included Punctuation & Style, Correct Grammar, RightWriter and PowerEdit. While all the earliest programs started out as simple diction and style checkers, all eventually added various levels of language processing, and developed some level of true grammar checking capability. Until 1992, grammar checkers were sold as add on programs. There were a large number of different word processing programs available at that time, with WordPerfect and Microsoft Word the top two in market share. In 1992, Microsoft decided to add grammar checking as a feature of Word, and licensed CorrecText, a grammar checker from Houghton Mifflin that had not yet been marketed as a standalone product. WordPerfect answered Microsoft's move by acquiring Reference Software, and the direct descendant of Grammatik is still included with WordPerfect. As of 2019, grammar checkers are built into systems like Google Docs and Sapling. ai, browser extensions like Grammarly and Qordoba, desktop applications like Ginger, free and open source software like LanguageTool, and text editor plugins like those available from WebSpellChecker Software.

Техникалық мәселелер

Алғашқы жазу стилі бағдарламалары мәтіндегі ауыр, ескірген, қалыпты сөздер мен дұрыс қолданылмаған тіркестерді тексерді. Бұл процесс қарапайым үлгілерді сәйкестендіруге негізделген. Бағдарламаның ядросы – көптеген сарапшылар нашар жазылған деп санайтын жүздеген немесе мыңдаған тіркестердің тізімі болды. Осы күмәнді тіркестер тізімінде әр тіркес үшін баламалы сөздер де қарастырылған. Тексеру бағдарламасы мәтінді сөйлемдерге бөліп, тіркестер сөздігіндегі сәйкестіктерді іздейді, күдікті тіркестерді белгілеп, баламасын ұсынады. Бұл бағдарламалар сондай-ақ кейбір механикалық тексерулерді де орындай алады. Мысалы, олар екі рет қайталанған сөздерді, тыныш белгілерді, бас әріптердегі қателерді және басқа да қарапайым механикалық қателерді анықтайды. Нақты грамматикалық тексеру одан да күрделі. Бағдарламалау тілінің синтаксисі мен грамматикасы нақты болғанымен, табиғи тілдерде жағдай мүлдем басқа. Табиғи тіл үшін толыққанды формалды грамматика жасауға болады, бірақ нақты қолданыста осыған қарамастан көптеген ерекшеліктер кездеседі, сондықтан формалды грамматика грамматикалық тексеруші құруда көмектеспейді. Табиғи тілдің грамматикасын тексерудің ең маңызды бөлігі – тілдегі барлық сөздердің сөздігі, әр сөздің сөз табымен бірге. Бір табиғи сөздің бірнеше сөз табында қолданылуы (мысалы, "бос" сөзінің сын есім, есім, етістік ретінде қолданылуы) кез келген грамматикалық тексерушінің күрделілігін арттырады. Грамматикалық тексеруші мәтіндегі әр сөйлемді тауып, сөздіктегі әр сөзді қарап, сөйлемді грамматикалық сәйкестікке сәйкес пішінге бөлуге тырысады. Содан кейін бағдарлама түрлі ережелерді қолданып, уақыт, сан, сөздердің реті сияқты түрлі қателерді анықтай алады. Мәтіннің стильдік мәселелерін де анықтау мүмкіндігі бар. Мысалы, "The Elements of Style" сияқты танымал стильдік нұсқаулар пассивті сөйлемдерді тым көп пайдалануды сынға алады. Грамматикалық тексерушілер пассивті сөйлемдерді анықтап, белсенді сөйлемдерге балама ұсына алады. Грамматикалық тексеру үшін қажетті бағдарламалық элементтер дауысты тану бағдарламалық жасақтамасын жасауда шешілуі керек даму мәселелерімен тығыз байланысты. Дауысты тану кезінде, сөйлемдегі сөз табы мен орнына сүйене отырып, қандай сөздің айтылуы мүмкін екенін болжау үшін талдау қолданылады. Грамматикалық тексеру кезінде талдау қабылданған грамматикалық ережелерге сәйкес келмейтін сөздерді анықтау үшін қолданылады. Соңғы кездегі зерттеулер айналадағы сөздердің контексіне сүйене отырып грамматикалық қателерді танитын алгоритмдерді әзірлеуге бағытталған.

The earliest writing style programs checked for wordy, trite, clichéd, or misused phrases in a text. This process was based on simple pattern matching. The heart of the program was a list of many hundreds or thousands of phrases that are considered poor writing by many experts. The list of questionable phrases included alternative wording for each phrase. The checking program would simply break text into sentences, check for any matches in the phrase dictionary, flag suspect phrases and show an alternative. These programs could also perform some mechanical checks. For example, they would typically flag doubled words, doubled punctuation, some capitalization errors, and other simple mechanical mistakes. True grammar checking is more complex. While a programming language has a very specific syntax and grammar, this is not so for natural languages. One can write a somewhat complete formal grammar for a natural language, but there are usually so many exceptions in real usage that a formal grammar is of minimal help in writing a grammar checker. One of the most important parts of a natural language grammar checker is a dictionary of all the words in the language, along with the part of speech of each word. The fact that a natural word may be used as any one of several parts of speech (such as "free" being used as an adjective, adverb, noun, or verb) greatly increases the complexity of any grammar checker. A grammar checker will find each sentence in a text, look up each word in the dictionary, and then attempt to parse the sentence into a form that matches a grammar. Using various rules, the program can then detect various errors, such as agreement in tense, number, word order, and so on. It is also possible to detect some stylistic problems with the text. For example, some popular style guides such as The Elements of Style deprecate excessive use of the passive voice. Grammar checkers may attempt to identify passive sentences and suggest an active voice alternative. The software elements required for grammar checking are closely related to some of the development issues that need to be addressed for speech recognition software. In voice recognition, parsing can be used to help predict which word is most likely intended, based on part of speech and position in the sentence. In grammar checking, the parsing is used to detect words that fail to follow accepted grammar usage. Recently, research has focused on developing algorithms which can recognize grammar errors based on the context of the surrounding words.

Сын

Грамматикалық тексерушілер шет тілінде жазуға көмектесетін құралдардың бір түрі болып саналады, оны ана тілі емес адамдар өз жазбаларын түзеу үшін пайдалана алады, себебі мұндай бағдарламалар синтаксистік қателерді анықтауға тырысады. Дегенмен, басқа компьютерлік жазу құралдары сияқты, грамматикалық тексерушілер де қателерді байқамай, дұрыс мәтінді қате деп белгілегенде сыналды. Лингвист Джеффри К. Пуллум 2007 жылы олардың көбінесе зиянды екенін айтты: "көбінесе компьютерлік грамматикалық тексерушінің кеңесін қабылдасаңыз, мәтініңіз одан да нашарлайды, кейде тіпті түсініксіз болып кетеді".