Автоматический ответ на вопросы: история и развитие

Введение

Ответы на вопросы (QA) — это дисциплина информатики, относящаяся к областям информационного поиска и обработки естественного языка (NLP), занимающаяся разработкой систем, которые автоматически отвечают на вопросы, сформулированные человеком на естественном языке.

История

Двумя ранними системами ответов на вопросы были BASEBALL и LUNAR. В течение года BASEBALL отвечал на вопросы о Главной лиге бейсбола. LUNAR отвечал на вопросы о геологическом анализе образцов горных пород, доставленных лунными миссиями "Аполлон". Обе системы ответов на вопросы были весьма эффективны в своих областях. LUNAR был продемонстрирован на конференции по лунной науке в 1971 году и смог ответить на 90% вопросов в своей области, заданных людьми, не прошедшими обучение работе с системой. В последующие годы были разработаны другие системы ответов на вопросы, ориентированные на более узкие области. Общей чертой всех этих систем было наличие центральной базы данных или системы знаний, созданной вручную экспертами в выбранной области. Языковые возможности BASEBALL и LUNAR использовали методы, аналогичные ELIZA и DOCTOR, первым программам-чатботам. SHRDLU – успешная программа ответов на вопросы, разработанная Терри Виноградом в конце 1960-х – начале 1970-х годов. Она моделировала работу робота в мире игрушек ("мир блоков") и предоставляла возможность задавать роботу вопросы о состоянии этого мира. Сильной стороной этой системы был выбор очень специфической области и простого мира с правилами физики, которые легко было закодировать в компьютерной программе. В 1970-х годах были разработаны базы знаний, ориентированные на более узкие области знаний. Системы ответов на вопросы, разработанные для взаимодействия с этими экспертными системами, выдавали точные и корректные ответы на вопросы в пределах определенной области знаний. Эти экспертные системы были очень похожи на современные системы ответов на вопросы, за исключением их внутренней архитектуры. Экспертные системы в значительной степени опираются на базы знаний, созданные и структурированные экспертами, в то время как многие современные системы ответов на вопросы используют статистическую обработку больших, неструктурированных текстовых корпусов на естественном языке. 1970-е и 1980-е годы ознаменовались развитием всесторонних теорий в области вычислительной лингвистики, что привело к созданию амбициозных проектов в области понимания текста и ответов на вопросы. Одним из примеров был Unix Consultant (UC), разработанный Робертом Виленски в Калифорнийском университете в Беркли в конце 1980-х годов. Система отвечала на вопросы, касающиеся операционной системы Unix. Она имела обширную, созданную вручную базу знаний в своей области и стремилась формулировать ответы с учетом различных типов пользователей. Другим проектом был LILOG – система понимания текста, работавшая в области туристической информации в одном немецком городе. Системы, разработанные в рамках проектов UC и LILOG, так и не вышли за рамки простых демонстраций, но способствовали развитию теорий вычислительной лингвистики и рассуждений. Были разработаны специализированные системы ответов на вопросы на естественном языке, такие как EAGLi для специалистов в области здравоохранения и биологии.

Two early question answering systems were BASEBALL and LUNAR. BASEBALL answered questions about Major League Baseball over a period of one year. LUNAR answered questions about the geological analysis of rocks returned by the Apollo Moon missions. Both question answering systems were very effective in their chosen domains. LUNAR was demonstrated at a lunar science convention in 1971 and it was able to answer 90% of the questions in its domain that were posed by people untrained on the system. Further restricted domain question answering systems were developed in the following years. The common feature of all these systems is that they had a core database or knowledge system that was hand written by experts of the chosen domain. The language abilities of BASEBALL and LUNAR used techniques similar to ELIZA and DOCTOR, the first chatterbot programs. SHRDLU was a successful question answering program developed by Terry Winograd in the late 1960s and early 1970s. It simulated the operation of a robot in a toy world (the "blocks world"), and it offered the possibility of asking the robot questions about the state of the world. The strength of this system was the choice of a very specific domain and a very simple world with rules of physics that were easy to encode in a computer program. In the 1970s, knowledge bases were developed that targeted narrower domains of knowledge. The question answering systems developed to interface with these expert systems produced and valid responses to questions within an area of knowledge. These expert systems closely resembled modern question answering systems except in their internal architecture. Expert systems rely heavily on expert constructed and organized knowledge bases, whereas many modern question answering systems rely on statistical processing of a large, unstructured, natural language text corpus. The 1970s and 1980s saw the development of comprehensive theories in computational linguistics, which led to the development of ambitious projects in text comprehension and question answering. One example was the Unix Consultant (UC), developed by Robert Wilensky at U. C. Berkeley in the late 1980s. The system answered questions pertaining to the Unix operating system. It had a comprehensive, hand crafted knowledge base of its domain, and it aimed at phrasing the answer to accommodate various types of users. Another project was LILOG, a text understanding system that operated on the domain of tourism information in a German city. The systems developed in the UC and LILOG projects never went past the stage of simple demonstrations, but they helped the development of theories on computational linguistics and reasoning. Specialized natural language question answering systems have been developed, such as EAGLi for health and life scientists.

Архитектура

С 2001 года системы ответов на вопросы обычно включали модуль классификации вопросов, который определял тип вопроса и тип необходимого ответа. Различные типы систем ответов на вопросы используют различные архитектуры. Например, современные системы ответов на вопросы в открытом домене могут использовать архитектуру "извлекатель-читатель". Извлекатель предназначен для поиска релевантных документов, связанных с заданным вопросом, а читатель – для извлечения ответа из найденных документов. Такие системы, как GPT-3, T5 и BART, используют сквозную архитектуру, в которой архитектура на основе трансформера хранит большие объемы текстовых данных в своих параметрах. Эти модели могут отвечать на вопросы, не обращаясь к внешним источникам знаний.

Методы ответов на вопросы

Ответы на вопросы зависят от качественного поискового корпуса; без документов, содержащих ответ, любая система ответов на вопросы мало что сможет сделать. Как правило, более крупные коллекции обеспечивают более высокую производительность, если область вопросов не пересекается с областью охвата коллекции. Избыточность данных в больших коллекциях, таких как веб, означает, что фрагменты информации, вероятно, будут представлены различными способами в разных контекстах и документах, что дает два преимущества:

Если нужная информация представлена в разных формах, системе ответов на вопросы потребуется меньше сложных методов обработки естественного языка для понимания текста. Правильные ответы можно отфильтровать от ложных срабатываний, поскольку система может полагаться на то, что версии правильного ответа будут встречаться в корпусе чаще, чем неправильные. Некоторые системы ответов на вопросы в значительной степени полагаются на автоматизированное логическое заключение.

Ответы на вопросы открытого домена

При поиске информации система ответов на вопросы открытого домена пытается предоставить ответ на вопрос пользователя. Предоставляемый ответ имеет форму коротких текстов, а не списка релевантных документов. Система находит ответы, используя комбинацию методов из области вычислительной лингвистики, информационного поиска и представления знаний. Система принимает на вход вопрос, заданный на естественном языке, а не набор ключевых слов, например: "Когда национальный день Китая?". Затем она преобразует это входное предложение в запрос в логической форме. Принятие вопросов на естественном языке делает систему более удобной для пользователя, но усложняет ее реализацию, поскольку существует множество типов вопросов, и системе необходимо определить правильный, чтобы дать осмысленный ответ. Определение типа вопроса является критически важной задачей; весь процесс извлечения ответа зависит от определения правильного типа вопроса и, следовательно, правильного типа ответа. Извлечение ключевых слов – это первый шаг в определении типа входного вопроса. В некоторых случаях слова явно указывают на тип вопроса, например, "Кто", "Где", "Когда" или "Сколько" – эти слова могут подсказать системе, что ответы должны быть соответственно типа "Личность", "Местоположение", "Дата" или "Число". Методы определения частей речи (POS-теггинг) и синтаксического анализа также могут определить тип ответа. В приведенном выше примере, подлежащее – "Национальный день Китая", сказуемое – "is", а обстоятельство – "when", следовательно, тип ответа – "Дата". К сожалению, некоторые вопросительные слова, такие как "Какой", "Что" или "Как", не соответствуют однозначным типам ответов: каждое из них может представлять более одного типа. В таких ситуациях необходимо учитывать другие слова в вопросе. Лексический словарь, такой как WordNet, может быть использован для понимания контекста. После того, как система определяет тип вопроса, она использует систему информационного поиска для нахождения набора документов, содержащих правильные ключевые слова. Тэггер и чанковщик NP/Verb Group могут проверить, упоминаются ли в найденных документах правильные сущности и отношения. Для вопросов типа "Кто" или "Где" распознаватель именованных сущностей находит релевантные имена "Личность" и "Местоположение" в извлеченных документах. Модель векторного пространства может классифицировать варианты ответов. Необходимо проверить, соответствует ли ответ правильному типу, определенному на этапе анализа типа вопроса. Метод логического вывода может подтвердить варианты ответов. Затем каждому из этих вариантов присваивается оценка в зависимости от количества вопросительных слов, которые он содержит, и от того, насколько близко эти слова расположены к варианту – чем больше и чем ближе, тем лучше. Затем ответ преобразуется путем синтаксического анализа в компактное и содержательное представление. В предыдущем примере ожидаемый ответ – "1 октября".

In information retrieval, an open domain question answering system tries to return an answer in response to the user's question. The returned answer is in the form of short texts rather than a list of relevant documents. The system finds answers by using a combination of techniques from computational linguistics, information retrieval, and knowledge representation. The system takes a natural language question as an input rather than a set of keywords, for example: "When is the national day of China?" It then transforms this input sentence into a query in its logical form. Accepting natural language questions makes the system more user friendly, but harder to implement, as there are a variety of question types and the system will have to identify the correct one in order to give a sensible answer. Assigning a question type to the question is a crucial task; the entire answer extraction process relies on finding the correct question type and hence the correct answer type. Keyword extraction is the first step in identifying the input question type. In some cases, words clearly indicate the question type, e. g., "Who", "Where", "When", or "How many"—these words might suggest to the system that the answers should be of type "Person", "Location", "Date", or "Number", respectively. POS (part of speech) tagging and syntactic parsing techniques can also determine the answer type. In the example above, the subject is "Chinese National Day", the predicate is "is" and the adverbial modifier is "when", therefore the answer type is "Date". Unfortunately, some interrogative words like "Which", "What", or "How" do not correspond to unambiguous answer types: Each can represent more than one type. In situations like this, other words in the question need to be considered. A lexical dictionary such as WordNet can be used for understanding the context. Once the system identifies the question type, it uses an information retrieval system to find a set of documents that contain the correct keywords. A tagger and NP/Verb Group chunker can verify whether the correct entities and relations are mentioned in the found documents. For questions such as "Who" or "Where", a named entity recogniser finds relevant "Person" and "Location" names from the retrieved documents. A vector space model can classify the candidate answers. Check if the answer is of the correct type as determined in the question type analysis stage. An inference technique can validate the candidate answers. A score is then given to each of these candidates according to the number of question words it contains and how close these words are to the candidate—the more and the closer the better. The answer is then translated by parsing into a compact and meaningful representation. In the previous example, the expected output answer is "1st Oct."

Ответы на математические вопросы

В 2018 году была опубликована система ответов на вопросы с открытым исходным кодом, известная как MathQA, основанная на Ask Platypus и Wikidata. MathQA принимает в качестве ввода вопрос на английском или хинди языке и возвращает математическую формулу, полученную из Wikidata в виде краткого ответа, переведенного в вычислимую форму, которая позволяет пользователю вставлять значения для переменных. Система извлекает имена и значения переменных и общих констант из Wikidata, если они доступны. Утверждается, что система превосходит коммерческий вычислительный математический движок знаний на тестовом наборе. MathQA размещается на Викимедиа по адресу https://mathqa.wmflabs.org/. В 2022 году она была расширена, чтобы отвечать на 15 типов математических вопросов. Методы MathQA должны сочетать естественный язык и язык формул. Один из возможных подходов — выполнение контролируемой аннотации посредством связывания сущностей. На CLEF 2020 была запущена "Задача ARQMath" для решения проблемы связывания новых вопросов с платформы Math Stack Exchange с существующими, на которые уже было сообществом дано ответы. Предоставление гиперссылок на уже отвеченные, семантически связанные вопросы помогает пользователям быстрее получать ответы, но является сложной задачей, поскольку семантическая связанность не является тривиальной. Лаборатория была мотивирована тем, что 20% математических запросов в поисковых системах общего назначения сформулированы в виде корректных вопросов. Задача включала два отдельных подзадания: Задача 1: "Поиск ответов" – сопоставление ответов из старых публикаций с новыми вопросами, и Задача 2: "Поиск формул" – сопоставление формул из старых публикаций с новыми вопросами. Начиная с области математики, которая включает язык формул, цель состоит в том, чтобы в дальнейшем расширить задачу на другие области (например, STEM-дисциплины, такие как химия, биология и т. д.), использующие другие типы специальной нотации (например, химические формулы). Затем формулы перестраиваются для создания набора вариантов формул. Впоследствии переменные заменяются случайными значениями для генерации большого количества различных вопросов, подходящих для индивидуального тестирования студентов. PhysWikiquiz размещается на Викимедиа по адресу https://physwikiquiz.wmflabs.org/.

An open source, math aware, question answering system called MathQA, based on Ask Platypus and Wikidata, was published in 2018. MathQA takes an English or Hindi natural language question as input and returns a mathematical formula retrieved from Wikidata as a succinct answer, translated into a computable form that allows the user to insert values for the variables. The system retrieves names and values of variables and common constants from Wikidata if those are available. It is claimed that the system outperforms a commercial computational mathematical knowledge engine on a test set. MathQA is hosted by Wikimedia at https://mathqa. wmflabs. org/. In 2022, it was extended to answer 15 math question types. MathQA methods need to combine natural and formula language. One possible approach is to perform supervised annotation via Entity Linking. The "ARQMath Task" at CLEF 2020 was launched to address the problem of linking newly posted questions from the platform Math Stack Exchange to existing ones that were already answered by the community. Providing hyperlinks to already answered, semantically related questions helps users to get answers earlier but is a challenging problem because semantic relatedness is not trivial. The lab was motivated by the fact that 20% of mathematical queries in general purpose search engines are expressed as well formed questions. The challenge contained two separate sub tasks. Task 1: "Answer retrieval" matching old post answers to newly posed questions, and Task 2: "Formula retrieval" matching old post formulae to new questions. Starting with the domain of mathematics, which involves formula language, the goal is to later extend the task to other domains (e. g., STEM disciplines, such as chemistry, biology, etc. ), which employ other types of special notation (e. g., chemical formulae). The formulae are then rearranged to generate a set of formula variants. Subsequently, the variables are substituted with random values to generate a large number of different questions suitable for individual student tests. PhysWikiquiz is hosted by Wikimedia at https://physwikiquiz. wmflabs. org/.