Введение

Ежегодный конкурс в области ИИ
Премия Лобнера была ежегодным конкурсом в области искусственного интеллекта, присуждавшим призы компьютерным программам, которые судьи считали наиболее человечными. Формат конкурса соответствовал стандартному тесту Тьюринга. В каждом раунде человеческий судья одновременно вел текстовые беседы с компьютерной программой и человеком через компьютер. На основании полученных ответов судья пытался определить, кто из собеседников является человеком, а кто – программой. Конкурс был запущен в 1990 году Хью Лобнером совместно с Кембриджским центром поведенческих исследований (штат Массачусетс, США). Начиная с 2014 года, его организацией занималась AISB в Блетчли-парке. Премия также была связана с Университетом Флиндерса, Дартмутским колледжем, Музеем науки в Лондоне, Университетом Рединга и Университетом Ульстера, кампусом Magee, Дерри, который в тот год был объявлен культурной столицей Великобритании. В 2004 и 2005 годах конкурс проводился в квартире Лобнера в Нью-Йорке. В сообществе искусственного интеллекта премия Лобнера вызывала определенные споры; наиболее известный критик, Марвин Мински, назвал её пиар-акцией, не способствующей развитию области. Формат финального конкурса 2019 года был изменен: жюри отсутствовало. Вместо этого чат-боты оценивались публикой, а участие людей было исключено. Сообщалось, что премия прекратила свое существование в 2020 году.

Призы

Первоначально, $2000 присуждались программе, наиболее похожей на человека в конкурсе. В 2005 году приз составлял $3000, а в 2006 году – $2250. В 2008 году был присужден приз в размере $3000. Кроме того, существовало два разовых приза, которые так и не были вручены. $25 000 предлагается за первую программу, которую судьи не смогут отличить от реального человека и которая сможет убедить судей в том, что человек является компьютерной программой. $100 000 – награда за первую программу, которую судьи не смогут отличить от реального человека в тесте Тьюринга, включающем расшифровку и понимание текстовой, визуальной и звуковой информации. Конкурс планировалось завершить после вручения этой награды.

Правила и ограничения конкуренции

Правила менялись с годами, и в первых соревнованиях использовались тесты Тьюринга с ограниченным общением, но с 1995 года обсуждение стало свободным. Для трех заявок в 2007 году – Роберта Медекса, Ноа Дункана и Ролло Карпентера – спонсор использовал ряд базовых "отборочных вопросов" для оценки уровня развития технологий. Эти вопросы включали простые запросы о времени, текущем раунде соревнования и т.п.; вопросы на общие знания ("Для чего нужен молоток?"); вопросы на сравнение ("Что быстрее – поезд или самолет?"); и вопросы, проверяющие память на предыдущие части беседы. "Все существительные, прилагательные и глаголы должны быть взяты из словаря, подходящего для детей и подростков до 12 лет". Для допуска к участию не требовалось "разумных" ответов на вопросы. Впервые в 2008 году спонсор разрешил введение предварительного этапа, что позволило принять заявки на основе веб-технологий, которые ранее были недопустимы, и оценивались они различными приглашенными экспертами. В доступных правилах не указано, как отбираются или инструктируются эксперты. У экспертов (оценивающих системы) ограничено время: 5 минут на каждую сущность в соревновании 2003 года, более 20 минут на пару в соревнованиях 2004–2007 годов, 5 минут на одновременное общение с человеком и программой в 2008–2009 годах, увеличено до 25 минут одновременного общения начиная с 2010 года.

Критика

Эксперты в этой области давно пренебрежительно отзываются об этой премии по ряду причин. Многие рассматривают её как пиар-акцию. Марвин Мински едко предложил "приз" любому, кто сможет остановить соревнование. Лобнер ответил шутливо, заметив, что предложение Мински приза за прекращение соревнований фактически сделало его соорганизатором. Правила соревнований поощряют недостаточно компетентных судей к поспешным суждениям. Взаимодействие между судьями и участниками изначально было очень коротким, например, фактически 2,5 минуты опроса, что позволяло задать лишь несколько вопросов, – область, подходящая для стандартных приемов чат-ботов. Участники соревнований не стремятся к пониманию или интеллекту, а используют простые приемы в стиле ELIZA, и успешные участники обнаруживают, что обман и притворство вознаграждаются.

2009 год

Конкурс на получение премии Лобнера 2009 года состоялся 6 сентября 2009 года в Брайтон-центре, Брайтон, Великобритания, совместно с конференцией Interspeech 2009. Сумма приза в 2009 году составила $3,000. Участниками, занявшими первые три места в указанном порядке, были Дэвид Леви, Ролло Карпентер и Мохан Эмбар. Писатель Брайан Кристиан участвовал в конкурсе на получение премии Лобнера 2009 года в роли помощника, и описал свой опыт участия в конкурсе в своей книге "Самый человечный человек".

2010 год

Конкурс на премию Лобнера 2010 года состоялся 23 октября в Калифорнийском государственном университете в Лос-Анджелесе. Конкурс 2010 года стал двадцатым по счету. Победителем был Брюс Уилкокс с программой Сюзет.

2011 год

Конкурс на получение премии Лёбнера 2011 года состоялся 19 октября в Университете Эксетера, Девон, Великобритания. Сумма приза за 2011 год составила 4000 долларов США. Четыре финалиста и их чат-боты – Брюс Уилкокс (Rosette), Адена Мигнонья (Zoe), Мохан Эмбар (Chip Vivant) и Рон Ли (Tutor) – заняли места в указанном порядке. В этом году была добавлена группа младших судей, а именно Джорджия Мэй Линдфилд, Уильям Данн, Сэм Кит и Кирилл Джердев. Результаты конкурса среди младших судей значительно отличались от результатов основного конкурса: чат-боты Tutor и Zoe разделили первое место, а Chip Vivant и Rosette заняли третье и четвертое места соответственно.

2012 год

Конкурс на получение премии Лобнера 2012 года состоялся 15 мая в Блетчли-парке, Блетчли, графство Бакингемшир, Англия, в ознаменование столетия со дня рождения Алана Тьюринга. Размер приза в 2012 году составил 5000 долларов США. Организатором мероприятий на месте был Дэвид Леви, победитель премии Лобнера в 1997 и 2009 годах. Четыре финалиста и их чат-боты: Мохан Эмбар (Chip Vivant), Брюс Уилкокс (Angela), Дэниел Берк (Adam), М. Аллан (Linguo), занявшие именно такое место. В том же году команда из факультета компьютерных наук Эксетерского университета (Эд Кидвелл, Макс Дюпеноа и Кент МакКлимонт) впервые в истории осуществила прямую веб-трансляцию бесед.

2015 год

В 2015 году конкурс на премию Лобнера вновь выиграла программа "Роза", разработанная Брюсом Уилкоксом. Судьями были Джейкоб Аарон, репортер New Scientist, освещающий вопросы физических наук; Рори Селлан-Джонс, технологический корреспондент BBC; Бретт Марти, режиссер и фотограф; и Ариадна Тампион, писатель.