Кіріспе

Мәтінді бірыңғай каноникалық нысанға түрлендіру процесі. Мәтінді қалыпқа келтіру – мәтінді бұрынғыдан өзге, жалғыз каноникалық нысанға түрлендіру процесі. Мәтінді сақтау немесе өңдеу алдында қалыпқа келтіру, мәселелерді бөліп қарауға мүмкіндік береді, себебі операциялар орындалмас бұрын кіріс мәліметтерінің дұрыстығы қамтамасыз етіледі. Мәтінді қалыпқа келтіру үшін қандай мәтін қалыпқа келтірілуі керек және одан кейін қалай өңделетінін білу қажет; жалпыға қолданылатын қалыпқа келтіру процедурасы жоқ.

Қолданбалар

Мәтінді сөйлеуге айналдыру кезінде мәтінді қалыпқа келтіру жиі қолданылады. Сандар, күндер, аббревиатуралар мен қысқартулар – бұл стандартты емес "сөздер", оларды контекстке қарай әртүрліше айту қажет. Мысалы:

"$200" ағылшын тілінде "екі жүз доллар" деп айтылады, ал самоан тілінде "lua selau tālā" деп айтылады. "vi" сөзі айналасындағы сөздерге байланысты "vie", "vee" немесе "алтыншы" деп айтылуы мүмкін. Мәтінді дерекқорда сақтау және іздеу үшін де қалыпқа келтіруге болады. Мысалы, егер "resume" сөзін іздеу "résumé" сөзімен сәйкес келуі керек болса, мәтін диакритикалық белгілерді жою арқылы қалыпқа келтіріледі; ал егер "john" сөзі "John" сөзімен сәйкес келуі керек болса, мәтін бір регистрге келтіріледі. Іздеу үшін мәтінді дайындау үшін оны түбірге келтіруге (мысалы, "flew" және "flying" екеуін де "fly" деп аудару), канонизациялауға (мысалы, американдық немесе британдық ағылшын тіліндегі жазуды үнемі қолдану) немесе тоқтату сөздерін жоюға болады.

Техникалар

Қарапайым, контекстке тәуелсіз нормалау үшін, мысалы, әріп-сандық емес символдарды немесе диакритикалық белгілерді жою үшін, реттегіш өрнектер жеткілікті. Мысалы, `sed -e "s/\s+/ /g" inputfile` командасы ақ орын символдарының тізбектерін бір ғана бос орынға нормалайды. Күрделі нормалауға сәйкес күрделі алгоритмдер қажет, соның ішінде нормаланатын тіл мен сөздік туралы салалық білім де қажет. Басқа тәсілдердің қатарында, мәтінді нормалау мәтін ағынын сегменттеу және белгілеу мәселесі ретінде, сондай-ақ машиналық аударманың ерекше жағдайы ретінде қарастырылған.

Мәтіндік стипендия

Мәтіндік зерттеулер және тарихи мәтіндерді редакциялау саласында "нормалдастыру" термині модернизация мен стандарттау деңгейін білдіреді – мысалы, жазушылардың қысқартуларын толықтыру және қолжазбалар мен ерте баспа көздерінде жиі кездесетін архаикалық символдарды транслитерациялау. Сондықтан нормаланған басылым дипломатиялық (немесе жартылай дипломатиялық) басылымнан өзгешеленеді, онда осы ерекшеліктерді сақтауға ұмтылады. Мақсаты – бір жағынан бастапқы мәтінге қатаң адалдық сақтау (мысалы, түсініксіз және екіұшты элементтерді сақтау), екінші жағынан – қазіргі оқырманға түсінікті және қолжетімді жаңа мәтін жасау арасындағы тиісті тепе-теңдікті табу. Нормалдастырудың көлемі редактордың дискрециясына байланысты және әртүрлі болуы мүмкін. Мысалы, кейбір редакторлар архаикалық жазу мен тыныс белгілерін жаңартуды жөн көреді, ал басқалары олай жасамайды.