Конференция TREC по поиску информации

Введение

Встречи для исследований в области поиска информации

Конференция по поиску текста (TREC) – это продолжающаяся серия семинаров, посвященных различным областям или направлениям исследований в области поиска информации (IR). Она спонсируется Национальным институтом стандартов и технологий (NIST) и Управлением перспективных исследовательских проектов разведки (часть аппарата директора национальной разведки) и началась в 1992 году в рамках программы TIPSTER Text. Её цель – поддержка и стимулирование исследований в сообществе поиска информации путем предоставления инфраструктуры, необходимой для масштабной оценки методологий поиска текста, и ускорение передачи технологий от лаборатории к производству. Протоколы оценки TREC усовершенствовали многие поисковые технологии. Исследование 2010 года оценило, что "без TREC пользователи Интернета в США потратили бы до 3,15 миллиарда дополнительных часов на использование веб-поисковых систем в период с 1999 по 2009 год". Хэл Вариан, главный экономист Google, отметил, что "данные TREC вдохнули новую жизнь в исследования по поиску информации. Наличие стандартного, широко доступного и тщательно подготовленного набора данных заложило основу для дальнейших инноваций в этой области". В рамках каждого направления (track) участникам предлагается задача, в которой NIST предоставляет группам наборы данных и тестовые задания. В зависимости от направления, тестовые задания могут представлять собой вопросы, темы или целевые извлекаемые признаки. Для обеспечения справедливой оценки систем используется единая система подсчета баллов. После оценки результатов семинар предоставляет участникам площадку для обмена идеями и представления текущих и будущих исследовательских работ. Конференция по поиску текста началась в 1992 году, финансировалась DARPA (Агентство передовых исследовательских проектов Министерства обороны США) и проводилась под эгидой NIST. Её целью было поддержка исследований в сообществе поиска информации путем предоставления инфраструктуры, необходимой для масштабной оценки методологий поиска текста.

Судебные решения по вопросам, имеющим отношение к TREC

TREC определяет релевантность как: "Если бы вы писали доклад по теме запроса и использовали бы информацию, содержащуюся в документе, в этом докладе, то документ является релевантным". Большинство задач поиска TREC используют бинарную релевантность: документ либо релевантен, либо не релевантен. Некоторые задачи TREC используют градуированную релевантность, отражая различные степени релевантности. Большинство коллекций TREC слишком велики для проведения полной оценки релевантности; для этих коллекций невозможно вычислить абсолютный полноту для каждого запроса. Чтобы определить, какие документы оценивать, TREC обычно использует метод, называемый пулингом. В этом методе объединяются n наилучших документов из каждого представленного результата, и полученный набор документов оценивается полностью.

Текущие трассы

Новые направления добавляются по мере выявления новых исследовательских потребностей, этот список актуален для TREC 2018. CENTRE Track. Цель: проведение параллельно с CLEF 2018, NTCIR 14 и TREC 2018 для разработки и настройки протокола оценки воспроизводимости ИР (новое направление для 2018 года). Common Core Track. Цель: выполнение ad hoc поисковой задачи по новостным документам. Complex Answer Retrieval (CAR). Цель: разработка систем, способных отвечать на сложные информационные запросы путем сопоставления информации из всего корпуса. Incident Streams Track. Цель: исследование технологий автоматической обработки потоков социальных сетей в чрезвычайных ситуациях (новое направление для TREC 2018). The News Track. Цель: партнерство с The Washington Post для разработки тестовых коллекций в новостной среде (новое для 2018 года). Precision Medicine Track. Цель: специализация трека Clinical Decision Support, направленная на установление связи между данными онкологических пациентов и клиническими испытаниями. Real Time Summarization Track (RTS). Цель: изучение методов для создания сводок в режиме реального времени на основе потоков социальных сетей.

Сопутствующие события

В 1997 году был запущен японский аналог TREC (первый семинар состоялся в 1999 году), получивший название NTCIR (NII Test Collection for IR Systems), а в 2000 году – CLEF, европейский аналог, ориентированный, в частности, на изучение кросс-языкового поиска информации. Форум по оценке информационного поиска (FIRE) начал свою работу в 2008 году с целью создания южноазиатского аналога TREC, CLEF и NTCIR.

Вклад конференции в эффективность поиска

NIST утверждает, что в течение первых шести лет работы семинаров эффективность систем поиска информации приблизительно удвоилась. Конференция также впервые провела крупномасштабные оценки документов на неанглийском языке, речи, видео и поиска по нескольким языкам. Кроме того, эти задачи вдохновили большое количество публикаций. Технологии, впервые разработанные в рамках TREC, теперь включены во многие коммерческие поисковые системы мира. Независимый отчет RTII показал, что «около трети улучшения веб-поисковых систем в период с 1999 по 2009 год связано с TREC. Эти улучшения, вероятно, позволили сэкономить до 3 миллиардов часов времени пользователей веб-поиска. Кроме того, в отчете указано, что на каждый доллар, инвестированный NIST и его партнерами в TREC, исследователи в области поиска информации в США, как в частном секторе, так и в академических кругах, получили выгоду в размере не менее 3,35–5,07 долларов». Хотя одно исследование предполагает, что современный уровень ad hoc поиска существенно не продвинулся в десятилетие, предшествовавшее 2009 году, оно относится только к поиску тематически релевантных документов в небольших новостных и веб-коллекциях объемом в несколько гигабайт. Достижения были достигнуты и в других типах ad hoc поиска. Например, были созданы тестовые коллекции для поиска известных элементов в сети, которые показали улучшения при использовании анкорного текста, взвешивания заголовков и длины URL-адресов – техник, которые не были эффективны в более старых тестовых коллекциях ad hoc. В 2009 году была представлена новая веб-коллекция объемом в миллиард страниц, и фильтрация спама оказалась полезной техникой для ad hoc веб-поиска, в отличие от предыдущих тестовых коллекций. Тестовые коллекции, разработанные в рамках TREC, полезны не только для (потенциального) продвижения исследователями современного уровня, но и для разработчиков новых (коммерческих) поисковых продуктов, позволяя им оценивать свою эффективность на стандартных тестах. За последнее десятилетие TREC разработал новые тесты для поиска по корпоративной электронной почте, геномики, фильтрации спама, eDiscovery и других областей поиска. Системы TREC часто служат базой для дальнейших исследований. Примеры: Хэл Вариан, главный экономист Google, говорит: «Более качественные данные приводят к более качественной науке. История поиска информации хорошо это иллюстрирует», и описывает вклад TREC. Юридическое направление TREC оказало влияние на сообщество eDiscovery как в области исследований, так и в оценке коммерческих поставщиков. Команда исследователей IBM, создавшая IBM Watson (также известный как DeepQA), который победил лучших игроков Jeopardy!, использовала данные и системы из трека QA TREC в качестве базовых показателей производительности.

NIST claims that within the first six years of the workshops, the effectiveness of retrieval systems approximately doubled. The conference was also the first to hold large scale evaluations of non English documents, speech, video and retrieval across languages. Additionally, the challenges have inspired a large body of publications. Technology first developed in TREC is now included in many of the world's commercial search engines. An independent report by RTII found that "about one third of the improvement in web search engines from 1999 to 2009 is attributable to TREC. Those enhancements likely saved up to 3 billion hours of time using web search engines. Additionally, the report showed that for every $1 that NIST and its partners invested in TREC, at least $3.35 to $5.07 in benefits were accrued to U. S. information retrieval researchers in both the private sector and academia." While one study suggests that the state of the art for ad hoc search did not advance substantially in the decade preceding 2009, it is referring just to search for topically relevant documents in small news and web collections of a few gigabytes. There have been advances in other types of ad hoc search. For example, test collections were created for known item web search which found improvements from the use of anchor text, title weighting and url length, which were not useful techniques on the older ad hoc test collections. In 2009, a new billion page web collection was introduced, and spam filtering was found to be a useful technique for ad hoc web search, unlike in past test collections. The test collections developed at TREC are useful not just for (potentially) helping researchers advance the state of the art, but also for allowing developers of new (commercial) retrieval products to evaluate their effectiveness on standard tests. In the past decade, TREC has created new tests for enterprise e mail search, genomics search, spam filtering, e Discovery, and several other retrieval domains. TREC systems often provide a baseline for further research. Examples include:
Hal Varian, Chief Economist at Google, says ''Better data makes for better science. The history of information retrieval illustrates this principle well," and describes TREC's contribution. TREC's Legal track has influenced the e Discovery community both in research and in evaluation of commercial vendors. The IBM researcher team building IBM Watson (aka DeepQA), which beat the world's best Jeopardy! players, used data and systems from TREC's QA Track as baseline performance measurements.

Участие

Конференция состоит из разнообразной международной группы исследователей и разработчиков. В 2003 году в ней приняли участие 93 группы из академической среды и промышленности из 22 стран.