Тіл біліміндегі корпустар: лингвистикалық зерттеулер, мәліметтерді талдау, статистикалық тестілеу үшін қолданылатын мәтіндік жиынтықтар. Сөздік қоры, іздеу технологиясы.
Ағылшыншамен салыстырыңыз: абзацты басыңыз — түпнұсқа терезеде ашылады. Абзац астындағы EN түймесі оны мәтін ішінде көрсетеді.
Кіріспе
Табиғи тіл деректерінің цифрлық жинақтары
Digital collections of natural language data
Тіл білімі және табиғи тілді өңдеу салаларында корпус (corpus) немесе мәтін корпусы – бұл деректер жиынтығы, ол бастапқыда цифрлық түрінде жасалған немесе цифрланған тілдік ресурстардан тұрады, олар түсіндірілген немесе түсіндірілмеген болуы мүмкін. Түсіндірілген корпус лингвистикасында статистикалық гипотезаларды тексеру, сөздердің қолданылуын растау және белгілі бір тілдік аймақтағы тіл білімі ережелерін сақтап тексеру үшін қолданылады. Іздеу технологияларында корпус – іздеу жүргізілетін құжаттар жиынтығы.
In linguistics and natural language processing, a corpus (: corpora) or text corpus is a dataset, consisting of natively digital and older, digitalized, language resources, either annotated or unannotated. Annotated, they have been used in corpus linguistics for statistical hypothesis testing, checking occurrences or validating linguistic rules within a specific language territory. In search technology, a corpus is the collection of documents which is being searched.
Шолу
Корпус бір тілдегі мәтіндерді (бір тілді корпус) немесе бірнеше тілдегі мәтіндік деректерді (көп тілді корпус) қамтуы мүмкін. Тілдік зерттеулер жүргізу үшін корпустарды тиімді ету мақсатында, олар көбінесе аннотация деп аталатын процеске түсіріледі. Корпусты аннотациялаудың мысалы – сөздердің тілдік бөлігін немесе POS тегтеуді атауға болады, онда әр сөздің сөздердің тілдік бөлігі туралы (етістік, есім, сын есім және т.б.) ақпарат белгілер түрінде корпусқа қосылады. Тағы бір мысал – әр сөздің леммасы (негізгі) түрін көрсету. Корпустың тілі оны пайдаланатын зерттеушілердің жұмыс тілі болмаған жағдайда, аннотацияны екі тілді ету үшін сызықшалық түсіндірме қолданылады. Кейбір корпусқа талдаудың одан әрі құрылымдалған деңгейлері қолданылады. Атап айтқанда, кіші корпус толыққанды талдаудан өтуі мүмкін. Мұндай корпусқа әдетте ағаш банкі немесе талданған корпус (Parsed Corpora) деп аталады. Корпустың толық және дәйекті түрде аннотацияланғанын қамтамасыз етудің қиындығы осы корпус әдетте кішкентай болады, көлемі шамамен бір-үш миллион сөзді құрайды. Тілдік құрылымды талдаудың басқа деңгейлері де мүмкін, оның ішінде морфология, семантика және прагматикаға арналған аннотациялар бар.
A corpus may contain texts in a single language (monolingual corpus) or text data in multiple languages (multilingual corpus). In order to make the corpora more useful for doing linguistic research, they are often subjected to a process known as annotation. An example of annotating a corpus is part of speech tagging, or POS tagging, in which information about each word's part of speech (verb, noun, adjective, etc.) is added to the corpus in the form of tags. Another example is indicating the lemma (base) form of each word. When the language of the corpus is not a working language of the researchers who use it, interlinear glossing is used to make the annotation bilingual. Some corpora have further structured levels of analysis applied. In particular, smaller corpora may be fully parsed. Such corpora are usually called Treebanks or Parsed Corpora. The difficulty of ensuring that the entire corpus is completely and consistently annotated means that these corpora are usually smaller, containing around one to three million words. Other levels of linguistic structured analysis are possible, including annotations for morphology, semantics and pragmatics.