Америка тілінің ұлттық корпусы: мәліметтер мен мүмкіндіктер

Кіріспе

American National Corpus (ANC) – американдық ағылшын тілінің мәтіндік корпусы, 1990 жылдан бері жасалған 22 миллион сөзден тұратын жазба және ауызша деректерді қамтиды. Қазіргі уақытта ANC-ге электрондық пошта, твиттер және веб-деректер сияқты жаңа жанрларды қоса алғанда, әртүрлі жанрлар кіреді, бұл жанрлар Британдық ұлттық корпус сияқты алдыңғы корпустарда кездеспеген. Ол сөздердің түрлері мен леммасы, беткей талдау және аталатын тұлғалар бойынша түсіндірілген. ANC Лингвистикалық деректер консорциумынан алуға болады. Корпустың 15 миллион сөзден тұратын ішкі жиынтығы, Ашық американдық ұлттық корпус (OANC) деп аталады, ол ANC веб-сайтынан қолдану шектеулерісіз тегін қолжетімді. Корпус және оның түсіндірмелері ISO/TC 37 SC4 лингвистикалық түсіндірмелер жинағының талаптарына сәйкес ұсынылады. Тегін берілген түрлендіру құралын (ANC2Go) пайдалану арқылы корпус және пайдаланушы таңдаған түсіндірмелер CoNLL IOB форматы, XML Corpus Encoding Standard (XCES) стандартына сәйкес XML форматы (Британдық ұлттық корпустың XAIRA іздеу жүйесімен қолдануға болады), UIMA-ға сәйкес формат және әртүрлі конкорданс бағдарламалық қамтамасымен пайдалануға жарамды форматтарда ұсынылады. Мәтіндік инженерияға арналған жалпы архитектураға (GATE) түсіндірмелерді импорттауға арналған плагиндер де бар. ANC басқа ағылшын тілінің корпустарынан бай түсіндірмелерімен ерекшеленеді, оның ішінде әртүрлі сөздердің түрлері (Penn тегтері, CLAWS5 және CLAWS7 тегтері), беткей талдау түсіндірмелері және бірнеше типтегі аталатын тұлғаларға арналған түсіндірмелер бар. Қосымша түсіндірмелер басқа жобалардың үлесі арқылы, олар қолжетімді болған сайын корпустың барлық бөлігіне немесе бөліктеріне қосылады. Авторлық құқық шектеулеріне байланысты жеке сөйлемдерге ғана қол жеткізуге рұқсат беретін онлайн іздеу корпустарынан айырмашылығы, ANC зерттеулер үшін қолжетімді, мысалы, статистикалық тілдік модельдерді әзірлеу және толық мәтіндік тілдік түсіндірмелерді жасау. ANC түсіндірмелері автоматты түрде жасалады және тексерілмейді. 500 000 сөзден тұратын ішкі жиынтық, Қолмен түсіндірілген ішкі корпус (MASC) деп аталады, ол шамамен 20 түрлі лингвистикалық түсіндірмелермен түсіндірілген, олардың барлығы қолмен тексерілген немесе қолмен жасалған. Бұларға Penn Treebank синтаксистік түсіндірмесі, WordNet семантикалық түсіндірмесі, FrameNet семантикалық кадр түсіндірмелері және басқалары кіреді. OANC сияқты MASC кез келген мақсатта қолдануға тегін және оны ANC сайтынан немесе Лингвистикалық деректер консорциумынан жүктеуге болады. Ол сондай-ақ Табиғи тіл құралдары жинағымен сөздердің түрлері бойынша түсіндірілген күйде таратылады. ANC және оның ішкі корпустары ұқсас корпустардан ұсынылған лингвистикалық түсіндірмелердің ауқымы және Британдық ұлттық корпус сияқты ресурстарда кездеспейтін қазіргі заманғы жанрларды қосу арқылы ерекшеленеді. Сонымен қатар, корпустардың бастапқы мақсаты статистикалық тілдік модельдерді әзірлеу болғандықтан, толық деректер мен барлық түсіндірмелер қолжетімді, бұл веб-браузер арқылы ғана таңдамалы түрде қолжетімді Қазіргі заманғы американдық ағылшын тілі корпусынан (COCA) ерекшеленеді. OANC және MASC-тің үнемі өсуі есептеу лингвистикасы және корпус лингвистикасы қауымдастықтарының деректері мен түсіндірмелеріне байланысты.

The American National Corpus (ANC) is a text corpus of American English containing 22 million words of written and spoken data produced since 1990. Currently, the ANC includes a range of genres, including emerging genres such as email, tweets, and web data that are not included in earlier corpora such as the British National Corpus. It is annotated for part of speech and lemma, shallow parse, and named entities. The ANC is available from the Linguistic Data Consortium. A fifteen million word subset of the corpus, called the Open American National Corpus (OANC), is freely available with no restrictions on its use from the ANC Website. The corpus and its annotations are provided according to the specifications of ISO/TC 37 SC4's Linguistic Annotation Framework. By using a freely provided transduction tool (ANC2Go), the corpus and user chosen annotations are provided in multiple formats, including CoNLL IOB format, the XML format conformant to the XML Corpus Encoding Standard (XCES) (usable with the British National Corpus's XAIRA search engine), a UIMA compliant format, and formats suitable for input to a wide variety of concordance software. Plugins to import the annotations into General Architecture for Text Engineering (GATE) are also available. The ANC differs from other corpora of English because it is richly annotated, including different part of speech annotations (Penn tags, CLAWS5 and CLAWS7 tags), shallow parse annotations, and annotations for several types of named entities. Additional annotations are added to all or parts of the corpus as they become available, often by contributions from other projects. Unlike on line searchable corpora, which due to copyright restrictions allow access only to individual sentences, the entire ANC is available to enable research involving, for example, development of statistical language models and full text linguistic annotation. ANC annotations are automatically produced and unvalidated. A 500,000 word subset called the Manually Annotated Sub Corpus (MASC) is annotated for approximately 20 different kinds of linguistic annotations, all of which have been hand validated or manually produced. These include Penn Treebank syntactic annotation, WordNet sense annotation, FrameNet semantic frame annotations, among others. Like the OANC, MASC is freely available for any use, and can be downloaded from the ANC site or from the Linguistic Data Consortium. It is also distributed in part of speech tagged form with the Natural Language Toolkit. The ANC and its sub corpora differ from similar corpora primarily in the range of linguistic annotations provided and the inclusion of modern genres that do not appear in resources like the British National Corpus. Also, because the initial target use of the corpora was the development of statistical language models, the full data and all annotations are available, thus differing from the Corpus of Contemporary American English (COCA) which is available only selectively through a web browser. Continued growth of the OANC and MASC relies on contributions of data and annotations from the computational linguistics and corpus linguistics communities.