Американский национальный корпус: структура, аннотации и возможности использования.

Введение

Американский национальный корпус (ANC) – это текстовый корпус американского английского языка, содержащий 22 миллиона слов письменных и устных данных, созданных после 1990 года. В настоящее время АНК включает в себя широкий спектр жанров, в том числе новые, такие как электронная почта, твиты и веб-данные, которые не представлены в более ранних корпусах, таких как Британский национальный корпус. Корпус аннотирован по частям речи и леммам, с проведением поверхностного синтаксического анализа и выделением именованных сущностей. ANC доступен через Консорциум лингвистических данных. Подмножество корпуса объемом 15 миллионов слов, называемое Открытым американским национальным корпусом (OANC), свободно доступно для использования без каких-либо ограничений на веб-сайте ANC. Корпус и его аннотации предоставляются в соответствии со спецификациями Linguistic Annotation Framework ISO/TC 37 SC4. С помощью свободно распространяемого инструмента транскрипции (ANC2Go) корпус и выбранные пользователем аннотации предоставляются в различных форматах, включая формат CoNLL IOB, формат XML, соответствующий стандарту кодирования корпусов XML (XCES) (совместимый с поисковой системой XAIRA Британского национального корпуса), формат, соответствующий требованиям UIMA, и форматы, подходящие для ввода в широкий спектр программного обеспечения для создания конкордансов. Также доступны плагины для импорта аннотаций в General Architecture for Text Engineering (GATE). ANC отличается от других корпусов английского языка богатой аннотацией, включающей различные типы аннотаций по частям речи (теги Penn, теги CLAWS5 и CLAWS7), аннотации поверхностного синтаксического анализа и аннотации для нескольких типов именованных сущностей. Дополнительные аннотации добавляются ко всему корпусу или его частям по мере их появления, часто благодаря вкладу других проектов. В отличие от онлайн-корпусов, доступ к которым из-за ограничений авторского права ограничен отдельными предложениями, весь ANC доступен для исследований, например, для разработки статистических языковых моделей и проведения полной лингвистической аннотации текста. Аннотации ANC генерируются автоматически и не проходят валидацию. Подмножество корпуса объемом 500 000 слов, называемое Рукотворно аннотированным подкорпусом (MASC), аннотировано примерно по 20 различным типам лингвистических аннотаций, все из которых были проверены или созданы вручную. К ним относятся синтаксическая аннотация Penn Treebank, аннотация семантических значений WordNet, аннотации семантических фреймов FrameNet и другие. Как и OANC, MASC свободно доступен для любого использования и может быть загружен с сайта ANC или из Консорциума лингвистических данных. Он также распространяется в форме, помеченной по частям речи, вместе с Natural Language Toolkit. ANC и его подкорпуса отличаются от аналогичных корпусов, прежде всего, широким спектром предоставляемых лингвистических аннотаций и включением современных жанров, отсутствующих в таких ресурсах, как Британский национальный корпус. Кроме того, поскольку первоначальной целью создания корпусов была разработка статистических языковых моделей, полные данные и все аннотации доступны, в отличие от Corpus of Contemporary American English (COCA), доступ к которому осуществляется выборочно через веб-браузер. Дальнейший рост OANC и MASC зависит от вклада данных и аннотаций со стороны сообществ вычислительной и корпусной лингвистики.

The American National Corpus (ANC) is a text corpus of American English containing 22 million words of written and spoken data produced since 1990. Currently, the ANC includes a range of genres, including emerging genres such as email, tweets, and web data that are not included in earlier corpora such as the British National Corpus. It is annotated for part of speech and lemma, shallow parse, and named entities. The ANC is available from the Linguistic Data Consortium. A fifteen million word subset of the corpus, called the Open American National Corpus (OANC), is freely available with no restrictions on its use from the ANC Website. The corpus and its annotations are provided according to the specifications of ISO/TC 37 SC4's Linguistic Annotation Framework. By using a freely provided transduction tool (ANC2Go), the corpus and user chosen annotations are provided in multiple formats, including CoNLL IOB format, the XML format conformant to the XML Corpus Encoding Standard (XCES) (usable with the British National Corpus's XAIRA search engine), a UIMA compliant format, and formats suitable for input to a wide variety of concordance software. Plugins to import the annotations into General Architecture for Text Engineering (GATE) are also available. The ANC differs from other corpora of English because it is richly annotated, including different part of speech annotations (Penn tags, CLAWS5 and CLAWS7 tags), shallow parse annotations, and annotations for several types of named entities. Additional annotations are added to all or parts of the corpus as they become available, often by contributions from other projects. Unlike on line searchable corpora, which due to copyright restrictions allow access only to individual sentences, the entire ANC is available to enable research involving, for example, development of statistical language models and full text linguistic annotation. ANC annotations are automatically produced and unvalidated. A 500,000 word subset called the Manually Annotated Sub Corpus (MASC) is annotated for approximately 20 different kinds of linguistic annotations, all of which have been hand validated or manually produced. These include Penn Treebank syntactic annotation, WordNet sense annotation, FrameNet semantic frame annotations, among others. Like the OANC, MASC is freely available for any use, and can be downloaded from the ANC site or from the Linguistic Data Consortium. It is also distributed in part of speech tagged form with the Natural Language Toolkit. The ANC and its sub corpora differ from similar corpora primarily in the range of linguistic annotations provided and the inclusion of modern genres that do not appear in resources like the British National Corpus. Also, because the initial target use of the corpora was the development of statistical language models, the full data and all annotations are available, thus differing from the Corpus of Contemporary American English (COCA) which is available only selectively through a web browser. Continued growth of the OANC and MASC relies on contributions of data and annotations from the computational linguistics and corpus linguistics communities.