Символьные лингвистические представления: обзор и применение.

Введение

Символическое лингвистическое представление — это представление высказывания, использующее символы для кодирования лингвистической информации о нём, такой как информация о фонетике, фонологии, морфологии, синтаксисе или семантике. Символические лингвистические представления отличаются от несимволических, например, записей, тем, что используют символы для представления лингвистической информации, а не измерения. Символические представления широко используются в лингвистике. В синтаксических представлениях символы атомных категорий часто обозначают синтаксическую категорию лексического элемента. Примеры включают лексические категории, такие как вспомогательные глаголы (INFL), фразовые категории, такие как относительные предложения (SRel), и пустые категории, такие как следы wh-элементов (tWH). В некоторых формализмах, таких как Лексическая функциональная грамматика, эти символы могут обозначать как грамматические функции, так и значения грамматических категорий. В лингвистике пустые категории обозначаются ∅. Символические представления также встречаются в фонетической транскрипции, описаниях фонологических процессов, в представлении трохеев, фонем, морфофонем, естественных классов, семантических признаков, таких как одушевлённость, и структур qualia в Теории генеративной лексики. В обработке естественного языка лингвистические представления, такие как синтаксические, давно используются для улучшения результатов систем поиска информации, таких как поисковые системы и системы машинного перевода. В последнее время, в подходах к синтаксическому анализу на основе сегментов, лексические элементы начинаются как токены wordpiece или BPE-токены, прежде чем преобразуются в другие представления: векторы слов (кодировщик слов), терминальные узлы (векторы сегментов, разделители), нетерминальные узлы (классификатор сегментов), синтаксическое дерево (нейронное CKY). Предполагается, что отображение от терминальных к нетерминальным узлам позволяет модели выучить, какие конструкции допустимы в языке. Символические лингвистические представления часто используются в вычислительной лингвистике. Другие представления в лингвистике, не являющиеся ни символами, ни измерениями, включают правила и иерархии.

A symbolic linguistic representation is a representation of an utterance that uses symbols to represent linguistic information about the utterance, such as information about phonetics, phonology, morphology, syntax, or semantics. Symbolic linguistic representations are different from non symbolic representations, such as recordings, because they use symbols to represent linguistic information rather than measurements. Symbolic representations are widely used in linguistics. In syntactic representations, atomic category symbols often refer to the syntactic category of a lexical item. Examples include lexical categories such as auxiliary verbs (INFL), phrasal categories such as relative clauses (SRel) and empty categories such as wh traces (tWH). In some formalisms, such as Lexical Functional Grammar, these symbols can refer to both grammatical functions and values of grammatical categories. In linguistics, empty categories are represented with ∅. Symbolic representations also appear in phonetic transcription, descriptions of phonological processes, trochees, phonemes, morphophonemes, natural classes, semantic features such as animacy and the qualia structures of Generative Lexicon Theory. In natural language processing, linguistic representations, such as syntactic representations, have long been in the service of improving the output of information retrieval systems, such as search engines and machine translation systems. Recently, in span based neural constituency parsing lexical items begin as wordpiece tokens or BPE tiktokens before they are transformed into several other representations: word vectors (word encoder), terminal nodes (span vectors, fenceposts), non terminal nodes (span classifier), parse tree (neural CKY). It's suggested that the mapping from terminals to non terminals learns what constructions are permitted by the language. Symbolic linguistic representations are frequently used in computational linguistics. Other representations in linguistics that are not symbols or measurements include rules and rankings.