Жасанды интеллекттегі табиғи тілді түсіну тарихы мен дамуы

Кіріспе

Жасанды интеллекттегі табиғи тілді өңдеудің тақырыбы

Табиғи тілді түсіну (NLU) немесе табиғи тілді интерпретациялау (NLI) – жасанды интеллекттегі табиғи тілді өңдеудің машиналық оқуды түсінумен айналысатын саласы. Табиғи тілді түсіну – жасанды интеллекттегі шешімі қиын мәселелердің бірі саналады. Автоматтандырылған қорытынды шығару, машиналық аударма, сұрақтарға жауап беру, жаңалықтарды жинау, мәтінді жіктеу, дауыспен басқару, мұрағаттау және кең көлемді мазмұнды талдау салаларында қолданылуының арқасында бұл салаға зор коммерциялық қызығушылық бар.

Тарих

1964 жылы MIT-те Дэниел Боброу өзінің PhD диссертациясы үшін жазған STUDENT бағдарламасы – компьютердің табиғи тілді түсінудегі ең ерте сатыларының бірі. Джон Маккарти жасалма интеллект терминін қолданғалы сегіз жыл өткен соң, Боброудың диссертациясы («Компьютерлік проблеманы шешу жүйесі үшін табиғи тілдік кіріс» деп аталады) компьютердің алгебралық есептерді шешу үшін қарапайым табиғи тілдік кірісті қалай түсіне алатынын көрсетті. Бір жылдан кейін, 1965 жылы, MIT-те Джозеф Вайзенбаум ELIZA атты интерактивті бағдарлама жазды, ол кез келген тақырыпта ағылшын тілінде диалог жүргізді, ең танымалсы – психотерапия. ELIZA қарапайым талдау және кілттік сөздерді дайын фразаларға ауыстыру арқылы жұмыс істеді, ал Вайзенбаум бағдарламаға нақты әлем туралы білімнің базасын немесе бай сөздікті қосу мәселесін шешпеді. Дегенмен ELIZA ойыншық жоба ретінде үлкен танымалдыққа ие болды және оны Ask.com сияқты қазіргі коммерциялық жүйелердің алғашқы нұсқасы деп қарастыруға болады. 1969 жылы Стэнфорд университетіндегі Роджер Шэнк табиғи тілді түсіну үшін тұжырымдық тәуелділік теориясын ұсынды. Сидней Лэмбтің жұмысына ішінара әсер еткен бұл модельді Шэнктың Йель университетіндегі студенттері, мысалы Роберт Виленски, Венди Лехнерт және Джанет Колондер кеңінен пайдаланды. 1970 жылы Уильям А. Вудс табиғи тілдік кіріс деректерін көрсету үшін кеңейтілген өту желісін (ATN) ұсынды. Фразалық құрылым ережелерінің орнына ATN рекурсивті шақырылатын шекті күй автоматтарының эквивалентті жиынтығын қолданды. ATN және оның «жалпыланған ATN» деп аталатын жалпы форматтары бірнеше жыл бойы қолданылып келді. 1971 жылы Терри Виноград MIT-те докторлық диссертациясын аяқтау үшін SHRDLU бағдарламасын жазды. SHRDLU балалардың құбырларының шектеулі әлемінде қарапайым ағылшын сөйлемдерін түсіне алды және роботтың манипуляторын заттарды жылжытуға бағыттай алды. SHRDLU-дың сәтті демонстрациясы осы саладағы зерттеулерді жалғастыруға маңызды серпін берді. Виноград өзінің «Тіл – танымдық процесс» атты кітабын жариялау арқылы осы саладағы маңызды ықпалын сақтап қалды. Стэнфордта Виноград кейін Google-ді негізін қалаушы Ларри Пейджке кеңес берді. 1970 және 1980 жылдары SRI International табиғи тілді өңдеу тобы осы салада зерттеулер мен әзірлемелерді жалғастырды. Зерттеулерге негізделген бірқатар коммерциялық жобалар іске асырылды, мысалы, 1982 жылы Гэри Хендрикс Symantec Corporation-ды бастапқыда жеке компьютерлерде деректер базасына сұрау салу үшін табиғи тілдік интерфейсті әзірлеу компаниясы ретінде құрды. Алайда, тышқанмен басқарылатын графикалық пайдаланушы интерфейстердің пайда болуымен Symantec бағытын өзгертті. Сол кезде бірнеше басқа коммерциялық жобалар да басталды, мысалы, Лари Р. Харрис Жасанды интеллект корпорациясында және Роджер Шэнк пен оның студенттері Когнитивтік жүйелер корпорациясында. 1983 жылы Майкл Дайер Йельде Роджер Шэнк пен В.Г. Лехнерттің жұмысына ұқсас BORIS жүйесін әзірледі. Үшінші мыңжылдық машиналық оқытуды мәтінді жіктеу үшін пайдаланатын жүйелерді, мысалы IBM Watson-ды енгізуді көріп отыр. Алайда, сарапшылар мұндай жүйелердің қаншалықты «түсінікті» көрсететінін пікірталас жүргізеді: мысалы, Джон Сёрлдің айтуынша, Уотсон тіпті сұрақтарды түсінбеді. Когнитивтік ғалым және Патом теориясының авторы Джон Болл осы бағалауды қолдайды. Табиғи тілді өңдеу қызмет көрсету және электрондық коммерция салаларында адамның өнімділігін арттауға бағытталған қолданбалар үшін кең мүмкіндіктер ашты, бірақ бұл көбінесе қолдану аясын тарылту арқылы мүмкін болды. Адам тілінде бір нәрсені сұратудың мыңдаған әртүрлі жолдары бар, олар әлі де дәстүрлі табиғи тілді өңдеуге қарсы тұрады. Виб Вегеманс: «Машиналармен мағыналы әңгімелесу тек сөйлемдегі басқа сөздердің мағыналарына сүйене отырып, әрбір сөзді дұрыс мағынаға сәйкес келтіргенде ғана мүмкін болады – 3 жасар баланың болжаусыздықсыз жасайтыны сияқты».

The program STUDENT, written in 1964 by Daniel Bobrow for his PhD dissertation at MIT, is one of the earliest known attempts at natural language understanding by a computer. Eight years after John McCarthy coined the term artificial intelligence, Bobrow's dissertation (titled Natural Language Input for a Computer Problem Solving System) showed how a computer could understand simple natural language input to solve algebra word problems. A year later, in 1965, Joseph Weizenbaum at MIT wrote ELIZA, an interactive program that carried on a dialogue in English on any topic, the most popular being psychotherapy. ELIZA worked by simple parsing and substitution of key words into canned phrases and Weizenbaum sidestepped the problem of giving the program a database of real world knowledge or a rich lexicon. Yet ELIZA gained surprising popularity as a toy project and can be seen as a very early precursor to current commercial systems such as those used by Ask. com. In 1969, Roger Schank at Stanford University introduced the conceptual dependency theory for natural language understanding. This model, partially influenced by the work of Sydney Lamb, was extensively used by Schank's students at Yale University, such as Robert Wilensky, Wendy Lehnert, and Janet Kolodner. In 1970, William A. Woods introduced the augmented transition network (ATN) to represent natural language input. Instead of phrase structure rules ATNs used an equivalent set of finite state automata that were called recursively. ATNs and their more general format called "generalized ATNs" continued to be used for a number of years. In 1971, Terry Winograd finished writing SHRDLU for his PhD thesis at MIT. SHRDLU could understand simple English sentences in a restricted world of children's blocks to direct a robotic arm to move items. The successful demonstration of SHRDLU provided significant momentum for continued research in the field. Winograd continued to be a major influence in the field with the publication of his book Language as a Cognitive Process. At Stanford, Winograd would later advise Larry Page, who co founded Google. In the 1970s and 1980s, the natural language processing group at SRI International continued research and development in the field. A number of commercial efforts based on the research were undertaken, e. g., in 1982 Gary Hendrix formed Symantec Corporation originally as a company for developing a natural language interface for database queries on personal computers. However, with the advent of mouse driven graphical user interfaces, Symantec changed direction. A number of other commercial efforts were started around the same time, e. g., Larry R. Harris at the Artificial Intelligence Corporation and Roger Schank and his students at Cognitive Systems Corp. In 1983, Michael Dyer developed the BORIS system at Yale which bore similarities to the work of Roger Schank and W. G. Lehnert. The third millennium saw the introduction of systems using machine learning for text classification, such as the IBM Watson. However, experts debate how much "understanding" such systems demonstrate: e. g., according to John Searle, Watson did not even understand the questions. John Ball, cognitive scientist and inventor of the Patom Theory, supports this assessment. Natural language processing has made inroads for applications to support human productivity in service and e commerce, but this has largely been made possible by narrowing the scope of the application. There are thousands of ways to request something in a human language that still defies conventional natural language processing. According to Wibe Wagemans, "To have a meaningful conversation with machines is only possible when we match every word to the correct meaning based on the meanings of the other words in the sentence – just like a 3 year old does without guesswork."

Ауқымы мен контексі

"Табиғи тілді түсіну" деген жалпы ұғымы компьютерлік қолданбалардың алуан түрлі жиынтығына қолданылады, мысалы, роботтарға берілген қысқа командалар сияқты салыстырмалы түрде қарапайым тапсырмалардан бастап, газет мақалаларын немесе поэзия үзінділерін толыққанды түсіну сияқты өте күрделі міндеттерге дейін. Көптеген нақты қолданыстар осы екі шектің арасында орналасады. Мысалы, электрондық хаттарды автоматты түрде талдау және оларды корпорацияның тиісті бөліміне жіберу үшін мәтінді жіктеу, мәтінді терең түсінуді қажет етпейді, бірақ қарапайым сұраныстарды белгілі схемасы бар деректер кестелеріне басқарудан әлдеқайда кең сөздік пен әртүрлі синтаксисті талап етеді. Сонымен қатар, жылдар бойы компьютерлерге ұсынылған табиғи тілді немесе ағылшын тіліндегі сөйлемдерді өңдеуге қатысты түрлі күрделілік деңгейлерінде әртүрлі әрекеттер жасалды. Кейбір әрекеттер терең түсінігі бар жүйелерді құруға әкелмеді, бірақ жалпы жүйелік пайдалануды жақсартты. Мысалы, Уэйн Ратлифф бастапқыда "Жұлдызды жол" фильміндегі ағылшын тілінде сөйлейтін компьютерді еліктеу үшін ағылшын тіліне ұқсас синтаксиспен Vulcan бағдарламасын жасады. Vulcan кейін DBase жүйесіне айналды, оның пайдалануға оңай синтаксисі жеке компьютерлік деректер базасы индустриясын тиімді түрде дамытты. Дегенмен, пайдалануға оңай немесе ағылшын тіліне ұқсас синтаксис бар жүйелер, бай лексиканы қолданатын және табиғи тілдің сөйлемдерінің семантикасының ішкі бейнесін (көбінесе бірінші реттік логика түрінде) қамтитын жүйелерден едәуір өзгеше. Сондықтан, жүйенің мақсат тұтқан "түсінігінің" кеңдігі мен тереңдігі жүйенің күрделілігін (және оның алдында тұрған қиындықтарды) және оның қандай қолданыстарды шеше алатынын анықтайды. Жүйенің "кеңдігі" оның сөздік қоры мен грамматикасының мөлшерімен өлшенеді. Ал "тереңдігі" – оның түсінігі ана тілінде еркін сөйлейтін адамның түсінуіне қаншалықты жақын екендігімен өлшенеді. Ең тар және ең беткей деңгейде, ағылшын тіліне ұқсас командалық интерпретаторлар минималды күрделілікті қажет етеді, бірақ олардың қолданыс аясы шектеулі. Тар, бірақ терең жүйелер түсіну механизмдерін зерттейді және модельдейді, бірақ олардың қолданысы да шектеулі. Жаңалық хабарламасы сияқты құжаттың мазмұнын жай ғана кілт сөздермен сәйкестендіруден асып, оның пайдаланушыға жарамдылығын бағалауға тырысатын жүйелер кеңірек және маңызды күрделілікті қажет етеді, бірақ олар әлі де толыққанды емес. Өте кең және өте терең жүйелер қазіргі заманғы технологияның шегінен шығып озады.

The umbrella term "natural language understanding" can be applied to a diverse set of computer applications, ranging from small, relatively simple tasks such as short commands issued to robots, to highly complex endeavors such as the full comprehension of newspaper articles or poetry passages. Many real world applications fall between the two extremes, for instance text classification for the automatic analysis of emails and their routing to a suitable department in a corporation does not require an in depth understanding of the text, but needs to deal with a much larger vocabulary and more diverse syntax than the management of simple queries to database tables with fixed schemata. Throughout the years various attempts at processing natural language or English like sentences presented to computers have taken place at varying degrees of complexity. Some attempts have not resulted in systems with deep understanding, but have helped overall system usability. For example, Wayne Ratliff originally developed the Vulcan program with an English like syntax to mimic the English speaking computer in Star Trek. Vulcan later became the dBase system whose easy to use syntax effectively launched the personal computer database industry. Systems with an easy to use or English like syntax are, however, quite distinct from systems that use a rich lexicon and include an internal representation (often as first order logic) of the semantics of natural language sentences. Hence the breadth and depth of "understanding" aimed at by a system determine both the complexity of the system (and the implied challenges) and the types of applications it can deal with. The "breadth" of a system is measured by the sizes of its vocabulary and grammar. The "depth" is measured by the degree to which its understanding approximates that of a fluent native speaker. At the narrowest and shallowest, English like command interpreters require minimal complexity, but have a small range of applications. Narrow but deep systems explore and model mechanisms of understanding, but they still have limited application. Systems that attempt to understand the contents of a document such as a news release beyond simple keyword matching and to judge its suitability for a user are broader and require significant complexity, but they are still somewhat shallow. Systems that are both very broad and very deep are beyond the current state of the art.

Құралымдар мен архитектура

Қолданылған тәсілге қарамастан, табиғи тілді түсіну жүйелерінің көпшілігі бірнеше ортақ компоненттерге ие. Жүйеге сөйлемдерді ішкі өрнеуге бөлу үшін тілдің лексикасы, талдаушы және грамматикалық ережелер қажет. Тиісті онтологиясы бар бай лексиконды құруға елеулі күш-жігер жұмсалады, мысалы, Wordnet лексиконының құруына көптеген жылдық еңбек кетті. Сондай-ақ, жүйеге түсініктілікті бағыттау үшін семантикадан теория қажет. Тілді түсіну жүйесінің түсіндіру қабілеті ол қолданатын семантикалық теорияға байланысты. Тілдің бәсекелес семантикалық теориялары компьютерлік автоматтандырылған семантикалық түсіндірудің негізі ретінде қолдану жағынан әртүрлі артықшылықтар мен кемшіліктерге ие. Бұл қарапайым семантикадан немесе стохастикалық семантикалық талдаудан бастап, мағынаны контексттен алу үшін прагматиканы пайдалануға дейін жетеді. Семантикалық талдағыштар табиғи тілдегі мәтіндерді формальды мағыналық өрнеулерге түрлендіреді. Табиғи тілді түсінудің жетілген қолданбалары өздерінің құрылымына логикалық қорытуды енгізуге тырысады. Бұл әдетте алынған мағынаны предикат логикасындағы тұжырымдар жиынтығымен сәйкестендіру арқылы, содан кейін логикалық дедукция қолданып, қорытындыға келу арқылы жүзеге асырылады. Сондықтан, Lisp сияқты функционалдық тілдерге негізделген жүйелер логикалық тұжырымдарды көрсету үшін қосалқы жүйелерді қамтуы керек, ал Prolog тілін пайдаланатын логикалық бағытталған жүйелер әдетте енгізілген логикалық өрнеу құрылымын кеңейтуге сенеді. Табиғи тілді түсінуде контексті басқару ерекше қиындықтар туғызуы мүмкін. Мысалдар мен кері мысалдардың кең ауқымы контекстің формальды модельдеуіне бірнеше тәсілдерге әкелді, олардың әрқайсысының өзіндік күшті және әлсіз жақтары бар.