Кіріспе
Табиғи тіл өңдеу әдістемесі Шектеу грамматикасы (ШГ) - табиғи тіл өңдеудің (ТЖ) әдістемелік парадигмасы. Тілші жазған, контекстке тәуелді ережелер грамматикалық тегтерді ("оқуларды") мәтіндегі сөздер мен басқа белгілерге тағайындайтын грамматикаға құрастырылады. Типтік тегтер лемматизация (лексема немесе негізгі форма), инфлексия, деривация, синтаксистік функция, тәуелділік, валенттілік, кейс рөлдері, семантикалық тип және т.б. Әрбір ереже берілген сөйлем контекстіне белгі немесе грамматикалық белгілер жиынтығын қосады, алып тастайды, таңдайды немесе ауыстырады. Контексттік шарттар кез келген сөздің кез келген белгісімен немесе белгілер жиынтығымен сөйлемнің кез келген жерінде жергілікті (тағайындалған қашықтықтар) немесе жаһандық (тағайындалмаған қашықтықтар) байланысты болуы мүмкін. Бір ережедегі контексттік шарттар байланысты болуы мүмкін, яғни бір-біріне байланысты, терістелуі немесе араласатын сөздермен немесе тегтермен бұғатталуы мүмкін. Үлгілі КГ-да мыңдаған ереже бар, олар әрқашанда жоғары деңгейдегі талдауларды қамтитын, бірте-бірте қадамдар бойынша қолданылады. Әр деңгейде қауіпсіз ережелер эвристикалық ережелерден бұрын қолданылады және ешқандай ережеге берілген түрдің соңғы оқуын алып тастауға рұқсат етілмейді, осылайша жоғары дәрежедегі беріктікті қамтамасыз етеді. CG тұжырымдамасын 1990 жылы Фред Карлссон (Karlsson 1990; Karlsson et al., eds, 1995) ұсынды, содан бері CG теггерлері мен пассивтері көптеген тілдер үшін жазылды, сөйлеудің бір бөлігіне (сөз класы) 99% -дан астам F дәлдігіне жету. Бірқатар синтаксистік CG жүйелері синтаксистік функция белгілері үшін шамамен 95% F баллдерін хабарлады. CG жүйелері басқа формализмдерде толық синтаксистік ағаштар құру үшін шағын, терминалға негізделмеген фраза құрылымы грамматикасын немесе тәуелділік грамматикасын қосу арқылы пайдаланылуы мүмкін, ал көптеген Treebank жобалары автоматты түрде аннотациялау үшін CG қолданды. CG әдістемесі сонымен қатар бірқатар тілдік технологияларда, мысалы орфографиялық тексерушілер мен машиналық аударма жүйелерінде қолданылды.
Constraint grammar (CG) is a methodological paradigm for natural language processing (NLP). Linguist written, context dependent rules are compiled into a grammar that assigns grammatical tags ("readings") to words or other tokens in running text. Typical tags address lemmatisation (lexeme or base form), inflexion, derivation, syntactic function, dependency, valency, case roles, semantic type etc. Each rule either adds, removes, selects or replaces a tag or a set of grammatical tags in a given sentence context. Context conditions can be linked to any tag or tag set of any word anywhere in the sentence, either locally (defined distances) or globally (undefined distances). Context conditions in the same rule may be linked, i. e. conditioned upon each other, negated, or blocked by interfering words or tags. Typical CGs consist of thousands of rules, that are applied set wise in progressive steps, covering ever more advanced levels of analysis. Within each level, safe rules are used before heuristic rules, and no rule is allowed to remove the last reading of a given kind, thus providing a high degree of robustness. The CG concept was launched by Fred Karlsson in 1990 (Karlsson 1990; Karlsson et al., eds, 1995), and CG taggers and parsers have since been written for a large variety of languages, routinely achieving accuracy F scores for part of speech (word class) of over 99%. A number of syntactic CG systems have reported F scores of around 95% for syntactic function labels. CG systems can be used to create full syntactic trees in other formalisms by adding small, non terminal based phrase structure grammars or dependency grammars, and a number of Treebank projects have used CG for automatic annotation. CG methodology has also been used in a number of language technology applications, such as spell checkers and machine translation systems.
CG-1
CG-ді алғаш рет Фред Карлссон 1990-шы жылдардың басында CGP-де іске асырды. Ол тек LISP-ге негізделген, ал синтаксис LISP өрнектеріне негізделген (Karlsson 1990).
CG-2
Паси Тапанайненнің CG 2 mdis-ін іске асыруы грамматикалық форматтағы кейбір жақшаларды алып тастады және грамматиканы жылдамдық үшін шекті күйдегі түрлендіргіш ретінде түсіндіре отырып, C ++ тілінде іске асырылды. CG 2 кейіннен Syddansk Universitet-тегі VISL тобымен ашық кодты VISL CG ретінде қайта іске асырылды (FST емес әдіспен), Tapanainen-тің жабық кодты mdis-імен бірдей форматта сақталды.