Корпус текстов: что это такое? Обзор лингвистических и технологических корпусов, их виды (моно- и многоязычные) и применение в NLP и исследованиях языка.
Сравнивайте с английским: нажмите на абзац — оригинал откроется в окне. Кнопка EN под абзацем показывает его прямо в тексте.
Введение
Цифровые коллекции данных естественного языка
Digital collections of natural language data
В лингвистике и обработке естественного языка корпус (корпуса) или текстовый корпус — это набор данных, состоящий из изначально цифровых и оцифрованных языковых ресурсов, с аннотациями или без них. С аннотациями они используются в корпусной лингвистике для статистического проверки гипотез, выявления случаев употребления или подтверждения лингвистических правил в рамках определенной языковой области. В технологиях поиска корпус представляет собой коллекцию документов, по которым осуществляется поиск.
In linguistics and natural language processing, a corpus (: corpora) or text corpus is a dataset, consisting of natively digital and older, digitalized, language resources, either annotated or unannotated. Annotated, they have been used in corpus linguistics for statistical hypothesis testing, checking occurrences or validating linguistic rules within a specific language territory. In search technology, a corpus is the collection of documents which is being searched.
Обзор
Корпус может содержать тексты на одном языке (одноязычный корпус) или текстовые данные на нескольких языках (многоязычный корпус). Для повышения полезности корпусов при проведении лингвистических исследований они часто подвергаются процессу, известному как аннотирование. Примером аннотирования корпуса является частеречная разметка, или POS-разметка, при которой информация о части речи каждого слова (глагол, существительное, прилагательное и т. д.) добавляется в корпус в виде тегов. Другой пример – указание леммы (базовой) формы каждого слова. Если язык корпуса не является рабочим языком исследователей, использующих его, для создания двуязычной аннотации применяется межстрочная глосса. Некоторые корпусы имеют более структурированные уровни анализа. В частности, небольшие корпусы могут быть полностью синтаксически разобраны. Такие корпусы обычно называют Treebanks или корпусами с синтаксической разметкой. Сложность обеспечения полной и последовательной аннотации всего корпуса означает, что такие корпусы обычно меньше и содержат от одного до трех миллионов слов. Возможны и другие уровни лингвистического структурированного анализа, включая аннотации для морфологии, семантики и прагматики.
A corpus may contain texts in a single language (monolingual corpus) or text data in multiple languages (multilingual corpus). In order to make the corpora more useful for doing linguistic research, they are often subjected to a process known as annotation. An example of annotating a corpus is part of speech tagging, or POS tagging, in which information about each word's part of speech (verb, noun, adjective, etc.) is added to the corpus in the form of tags. Another example is indicating the lemma (base) form of each word. When the language of the corpus is not a working language of the researchers who use it, interlinear glossing is used to make the annotation bilingual. Some corpora have further structured levels of analysis applied. In particular, smaller corpora may be fully parsed. Such corpora are usually called Treebanks or Parsed Corpora. The difficulty of ensuring that the entire corpus is completely and consistently annotated means that these corpora are usually smaller, containing around one to three million words. Other levels of linguistic structured analysis are possible, including annotations for morphology, semantics and pragmatics.