Кіріспе
Бір мәтінде бірдей нысанаға қатысты екі немесе одан көп сөз тіркесі. Лингвистикада кореференция, кейде ко-референция деп жазылатын, екі немесе одан көп сөз тіркесі бір адамға немесе нәрсеге сілтеген кезде пайда болады; олардың бірдей референті болады. Мысалы, «Билл Алиса жақын арада келеді деді, және ол келді» деген сөйлемде «Алиса» және «ол» сөздері бір адамға сілтеме жасайды. Кореференцияны анықтау көбінесе қиынға соғады. Мысалы, «Билл келемін деді» деген сөйлемде «ол» сөзі Биллге сілтеме жасауы мүмкін, ал мүмкін емес. Қай сөз тіркестері кореференция екенін анықтау мағынаны талдаудың немесе түсінудің маңызды бөлігі болып табылады және көбінесе контексттен, нақты әлем туралы білімнен, мысалы, кейбір есімдердің белгілі бір түрлермен («Ровер»), заттардың түрлерімен («Титаник»), грамматикалық родтармен немесе басқа да қасиеттермен байланысты болуын қажет етеді. Тіл білімі мамандары кореференцияны көрсету үшін әдетте индекстерді қолданады, мысалы, «Билли hei келеді деді». Мұндай сөз тіркестері коиндекстелген деп аталады, яғни оларды кореференциалды деп түсіну керек. Сөз тіркестері кореференциалды болған кезде, бірінші кездесетіні толық немесе сипаттамалық формада болады (мысалы, толық жеке есім, мүмкін атағы мен лауазымы), ал кейінгі кездесетіндері қысқа формаларды қолданады (мысалы, тек есім, тегі немесе есімдік). Алғашқысы – антецедент, екіншісі – проформа, анафор немесе сілтеме деп аталады. Дегенмен, есімдіктер кейде алға қарай сілтеме жасай алады, мысалы, «Ол үйге келген кезде, Алиса ұйықтап қалды». Мұндай жағдайларда, кореференция анафоралық емес, катафоралық деп аталады. Кореференция синтаксис саласындағы байланыс құбылыстары үшін маңызды. Байланыс теориясы сөйлемдер мен мәтіндердегі кореференциалдық сөз тіркестері арасындағы синтаксистік қатынасты зерттейді.
In linguistics, coreference, sometimes written co reference, occurs when two or more expressions refer to the same person or thing; they have the same referent. For example, in Bill said Alice would arrive soon, and she did, the words Alice and she refer to the same person. Co reference is often non trivial to determine. For example, in Bill said he would come, the word he may or may not refer to Bill. Determining which expressions are coreferences is an important part of analyzing or understanding the meaning, and often requires information from the context,
real world knowledge, such as tendencies of some names to be associated with particular species ("Rover"), kinds of artifacts ("Titanic"), grammatical genders, or other properties. Linguists commonly use indices to notate coreference, as in Billi said hei would come. Such expressions are said to be coindexed, indicating that they should be interpreted as coreferential. When expressions are coreferential, the first to occur is often a full or descriptive form (for example, an entire personal name, perhaps with a title and role), while later occurrences use shorter forms (for example, just a given name, surname, or pronoun). The earlier occurrence is known as the antecedent and the other is called a proform, anaphor, or reference. However, pronouns can sometimes refer forward, as in "When she arrived home, Alice went to sleep." In such cases, the coreference is called cataphoric rather than anaphoric. Coreference is important for binding phenomena in the field of syntax. The theory of binding explores the syntactic relationship that exists between coreferential expressions in sentences and texts.
Байланысты айнымалыларға қатынасы
Семантиктер мен логиктер кейде кореференция және шектелген айнымалы деп аталатын ұғымдар арасында айырма жасайды. Шектелген айнымалылар проформаның алдындағы белгісіз сандық өрнектер болған кезде пайда болады, мысалы:
«Every student» және «no student» сияқты сандық өрнектер референциалдық деп есептелмейді. Бұл өрнектер грамматикалық тұрғыдан жекеше, бірақ мәтінде немесе нақты әлемде нақты бір нысанды көрсетпейді. Осылайша, осы мысалдардағы «оның» алдындағы сөздер дұрыс референцияланбаған, сондай-ақ «оның» өзі де референцияланбаған. Оның орнына, ол алдыңғы сөзімен байланысты айнымалы болып саналады. Оның референциясы мәтіндегі студенттердің қайсысы туралы ойланып тұрғандығына байланысты өзгереді. Шектелген айнымалылардың болуы мысалы, төмендегі мысалда жақсырақ көрінеді:
Бұл сөйлем мағынасы бойынша екіұшты. Ол Джек өзінің бағасын ұнайды, ал қалғандары Джектің бағасын ұнатпайды дегенді білдіруі мүмкін; немесе Джек болмаса, ешкім өз бағасын ұнатпайды. Бірінші мағынада «оның» кореференциялық, ал екіншісінде ол шектелген айнымалы, себебі оның референциясы барлық студенттер жиыны бойынша өзгереді. Екі жағдайда да коиндекс белгілеуі қолданылады. Яғни, екі немесе одан көп өрнек коиндексацияланған кезде, ол кореференциямен немесе шектелген айнымалымен айналысып жатқанын (немесе соңғы мысалдағыдай, мағынаға байланысты екенін) көрсетпейді.
Бірлескен сілтеме жасау
Компьютерлік лингвистикада кореференциялық шешім – дискурста жақсы зерттелген мәселе. Мәтіннің дұрыс түсіндірілуі үшін, тіпті айтылған әртүрлі тақырыптардың салыстырмалы маңыздылығын анықтау үшін де, есімдіктер мен басқа да сілтемелі тіркестер дұрыс объектілермен байланыстырылуы керек. Кореференцияларды шешуге арналған алгоритмдер көбінесе сілтеме жасайтын өрнекпен сәйкес келетін ең жақын алдыңғы объектіні іздейді. Мысалы, «ол» сөзі «әйел» немесе «Энн» сияқты алдыңғы тіркеске байланыстырылуы мүмкін, бірақ «Билл» есімдігіне емес. «Өзінің» сияқты есімдіктердің қатаң шектеулері бар. Көптеген тілдік тапсырмалардағыдай, дәлдік пен толықтық арасындағы қарым-қатынас сақталады. Кореференциялық шешім алгоритмдерін бағалау үшін қолданылатын кластерлік сапа көрсеткіштеріне Рэнд индексі, түзетілген Рэнд индексі және өзара ақпаратқа негізделген әдістер жатады. Ағылшын тіліндегі кореференциялық шешімдегі ерекше қиындық – «it» есімдігі, ол көптеген қолданыстарға ие. Ол «ол» және «олар» сияқты сілтеме жасай алады, бірақ көбінесе жансыз заттарға қатысты қолданылады (бірақ ережелер күрделірек: жануарлар «ол», «олар» немесе «оған» жатады; кемелер дәстүрлі түрде «оған» жатады; дауылдар әдетте жыныстық атауына қарамастан «it» деп аталады). Ол сондай-ақ жандар емес, абстракцияларға сілтеме жасай алады, мысалы: «Оған ең төменгі жалақы төленді, бірақ ол бұған ренжімеді». Соңында, «it» есімдігінің плеонастық қолданыстары да бар, олар нақты бір нәрсеге сілтеме жасамайды: плеонастық қолданыстар сілтемелік болып саналмайды, сондықтан олар кореференцияның құрамына кірмейді. Кореференциялық шешімді қарастыру тәсілдерін есімдік жұптарына, есімдіктерді реттеуге немесе объектіге негізделген алгоритмдерге бөлуге болады. Есімдік жұптарын қарастыратын алгоритмдер екі берілген есімдіктің бір объектіні білдіретінін анықтау үшін екілік шешімдерді қолданады. Мұндай жағдайда, гендер сияқты объектіге қатысты шектеулер ескерілмейді, бұл қателіктердің таралуына әкелуі мүмкін. Мысалы, «ол» және «олар» есімдіктерінің екеуі де «ұстазға» сілтеме жасау мүмкіндігіне ие, бірақ бір-бірімен сілтеме жасаса алмайды. Есімдіктерді реттеуге негізделген алгоритмдер осы идеяны кеңейтеді, бірақ бір есімдіктің тек бір (алдыңғы) есімдікпен ғана сілтеме жасауы мүмкін екенін көрсетеді. Нәтижесінде, әр алдыңғы есімдікке баға берілуі керек және ең жоғары баға алған есімдік (немесе есімдік болмаса) сілтемеленеді. Соңында, объектіге негізделген әдістерде есімдіктер жеке есімдіктердің емес, бүкіл кореференция тізбегінің ақпаратына негізделген түрде байланыстырылады. Әр түрлі ені бар тізбекті бейнелеу есімдіктерге негізделген әдістерге қарағанда күрделірек және есептеу жағынан шығынды, сондықтан мұндай алгоритмдер көбінесе нейрондық желі архитектураларына негізделген.
Pleonastic uses are not considered referential, and so are not part of coreference. Approaches to coreference resolution can broadly be separated into mention pair, mention ranking or entity based algorithms. Mention pair algorithms involve binary decisions if a pair of two given mentions belong to the same entity. Entity wide constraints like gender are not considered, which leads to error propagation. For example, the pronouns he or she can both have a high probability of coreference with the teacher, but cannot be coreferent with each other. Mention ranking algorithms expand on this idea but instead stipulate that one mention can only be coreferent with one (previous) mention. As a result, each previous mention must be given a score and the highest scoring mention (or no mention) is linked. Finally, in entity based methods mentions are linked based on information of the whole coreference chain instead of individual mentions. The representation of a variable width chain is more complex and computationally expensive than mention based methods, which lead to these algorithms being mostly based on neural network architectures.