Зимы искусственного интеллекта: периоды спада финансирования и интереса.

Введение

Период сокращения финансирования и интереса к исследованиям в области искусственного интеллекта

В истории искусственного интеллекта «зима ИИ» – это период сокращения финансирования и интереса к исследованиям в области искусственного интеллекта. Эта область пережила несколько циклов завышенных ожиданий, за которыми следовали разочарование и критика, сокращение финансирования и, впоследствии, возобновление интереса спустя годы или даже десятилетия. Термин впервые появился в 1984 году как тема публичных дебатов на ежегодном собрании AAAI (тогда называемой «Американской ассоциацией искусственного интеллекта»). Роджер Шэнк и Марвин Мински – два ведущих исследователя ИИ, переживших «зиму» 1970-х годов, – предупредили бизнес-сообщество, что в 1980-х годах энтузиазм в отношении ИИ вышел из-под контроля и что разочарование неизбежно последует. Они описали цепную реакцию, подобную «ядерной зиме», которая начнется с пессимизма в сообществе ИИ, затем последует пессимизм в прессе, серьезное сокращение финансирования и, в конечном итоге, прекращение серьезных исследований. Три года спустя миллиардная индустрия ИИ начала рушиться. Было две основные «зимы» – приблизительно 1974–1980 и 1987–2000 годы, а также несколько менее значительных эпизодов, в том числе следующие:

1966: провал машинного перевода
1969: критика перцептронов (ранние однослойные искусственные нейронные сети)
1971–1975: разочарование DARPA в исследовательской программе понимания речи в Университете Карнеги-Меллона
1973: значительное сокращение исследований ИИ в Соединенном Королевстве в ответ на отчет Лайтхилла
1973–1974: сокращение DARPA академических исследований ИИ в целом
1987: крах рынка машин LISP
1988: отмена новых расходов на ИИ в рамках Стратегической вычислительной инициативы
1990-е: многие экспертные системы были заброшены
1990-е: прекращение реализации первоначальных целей компьютерного проекта пятого поколения

Энтузиазм и оптимизм в отношении ИИ в целом возросли с момента его наименьшей точки в начале 1990-х годов. Начиная примерно с 2012 года, интерес к искусственному интеллекту (и особенно к подразделам машинного обучения) со стороны исследовательских и корпоративных сообществ привел к резкому увеличению финансирования и инвестиций, что привело к нынешнему (по состоянию на 2024 год) буму ИИ.

Машинный перевод и доклад АЛПАК 1966 года

Исследования в области НЛП берут свое начало в начале 1930-х годов и начинаются с работ по машинному переводу (МТ). Однако значительные достижения и практическое применение стали появляться после публикации влиятельного меморандума Уоррена Уивера в 1949 году. Меморандум вызвал большой энтузиазм в исследовательском сообществе. В последующие годы произошли заметные события: IBM приступила к разработке первой машины, MIT назначил своего первого штатного профессора по машинному переводу, и состоялось несколько конференций, посвященных МТ. Кульминацией стала публичная демонстрация машины IBM Georgetown в 1954 году, которая привлекла широкое внимание в авторитетных газетах. Как и все подъемы ИИ, за которыми следовали периоды глубокого разочарования, СМИ имели тенденцию преувеличивать значимость этих разработок. Заголовки о эксперименте IBM в Джорджтауне провозглашали фразы вроде «Двуязычная машина», «Робот-мозг переводит русский на чистый английский» и «Полиглот – детище разума». Однако сама демонстрация включала перевод всего 49 тщательно отобранных русских предложений на английский язык, а словарный запас машины был ограничен всего 250 словами. Во время Холодной войны правительство США проявляло особый интерес к автоматическому, мгновенному переводу русских документов и научных отчетов. Правительство активно поддерживало усилия по машинному переводу, начиная с 1954 года. Еще одним фактором, способствовавшим развитию машинного перевода, был интерес, проявленный Центральным разведывательным управлением (ЦРУ). В тот период ЦРУ твердо верило в важность разработки возможностей машинного перевода и поддерживало соответствующие инициативы. Они также осознавали, что эта программа имеет последствия, выходящие за рамки интересов ЦРУ и разведывательного сообщества. Однако исследователи недооценили огромную сложность дезактивации многозначности слов. Чтобы перевести предложение, машине необходимо было иметь некоторое представление о его содержании, иначе она допускала ошибки. Распространенный пример – «дух готов, но плоть немощна». При переводе туда и обратно с русского он превратился в «водка хороша, но мясо гнилое». Позже исследователи назвали это проблемой здравого смысла. К 1964 году Национальный исследовательский совет обеспокоился отсутствием прогресса и сформировал Консультативный комитет по автоматической обработке языка (ALPAC) для изучения проблемы. В знаменитом отчете 1966 года они пришли к выводу, что машинный перевод дороже, менее точен и медленнее, чем перевод, выполненный человеком. После того как NRC потратила около 20 миллионов долларов, вся поддержка была прекращена. Были разрушены карьеры, исследования были остановлены. Алгоритмы манипулирования символами казались более перспективными в то время как средство достижения логического мышления, которое рассматривалось как суть интеллекта, будь то естественного или искусственного. Интерес к перцептронам, изобретенным Фрэнком Розенблаттом, поддерживался лишь силой его личности. Он оптимистично предсказывал, что перцептрон «в конечном итоге сможет учиться, принимать решения и переводить языки». Основные исследования перцептронов частично прекратились, поскольку книга Марвина Мински и Сеймура Паперта «Перцептроны» 1969 года подчеркнула ограничения возможностей перцептронов. Хотя уже было известно, что многослойные перцептроны не подвержены этой критике, никто в 1960-х годах не знал, как обучать многослойные перцептроны. Обратное распространение ошибки было еще впереди. В 1970-х и начале 1980-х годов было трудно получить существенное финансирование для проектов, использующих подходы нейронных сетей. Важная теоретическая работа продолжалась, несмотря на отсутствие финансирования. «Зима» подхода нейронных сетей закончилась в середине 1980-х годов, когда работы Джона Хопфилда, Дэвида Румелхарта и других возродили большой интерес к этой области. Розенблатт не дожил до этого момента, поскольку погиб в лодочной аварии вскоре после публикации книги «Перцептроны». Отчет был оспорен в дебатах, транслировавшихся в серии «Controversy» на BBC в 1973 году. Дебаты «Робот общего назначения – мираж» из Королевского института состоялись между Лайтхиллом и командой Дональда Мичи, Джона Маккарти и Ричарда Грегори. Маккарти позже писал, что «проблема комбинаторного взрыва была признана в ИИ с самого начала». Отчет привел к полному прекращению исследований ИИ в Великобритании. Он и несколько его преемников позволяли лидерам ИИ (таким как Марвин Мински, Джон Маккарти, Герберт Саймон или Аллен Ньюэлл) тратить средства почти по своему усмотрению. Эта позиция изменилась после принятия поправки Мэнсфилда в 1969 году, которая требовала от DARPA финансировать «ориентированные на миссию прямые исследования, а не фундаментальные, не направленные исследования». Чистые, не направленные исследования, которые проводились в 1960-х годах, больше не финансировались бы DARPA. Исследователи теперь должны были доказать, что их работа вскоре приведет к созданию полезных военных технологий. Предложения по исследованиям в области ИИ подвергались очень высоким стандартам. Ситуацию не улучшили отчет Лайтхилла и собственное исследование DARPA (Американская исследовательская группа), которые показали, что большинство исследований в области ИИ вряд ли приведут к чему-либо действительно полезному в обозримом будущем. Деньги DARPA были направлены на конкретные проекты с четко определенными целями, такие как автономные танки и системы управления боем. К 1974 году получить финансирование для проектов в области ИИ было трудно. Моравец утверждает, что некоторые сотрудники DARPA потеряли терпение к исследованиям в области ИИ. «В DARPA буквально говорили, что 'некоторым из этих людей преподадут урок, сократив их годовые контракты в два миллиона долларов почти до нуля!’» – рассказал Моравец Даниэлю Кревье. Хотя проект автономного танка провалился, система управления боем (Dynamic Analysis and Replanning Tool) оказалась чрезвычайно успешной, сэкономив миллиарды долларов во время первой войны в Персидском заливе, окупив все инвестиции DARPA в ИИ и оправдав прагматичную политику DARPA.

NLP research has its roots in the early 1930s and begins its existence with the work on machine translation (MT). However, significant advancements and applications began to emerge after the publication of Warren Weaver's influential memorandum in 1949. The memorandum generated great excitement within the research community. In the following years, notable events unfolded: IBM embarked on the development of the first machine, MIT appointed its first full time professor in machine translation, and several conferences dedicated to MT took place. The culmination came with the public demonstration of the IBM Georgetown machine, which garnered widespread attention in respected newspapers in 1954. Just like all AI booms that have been followed by desperate AI winters, the media tended to exaggerate the significance of these developments. Headlines about the IBM Georgetown experiment proclaimed phrases like "The bilingual machine," "Robot brain translates Russian into King's English," and "Polyglot brainchild." However, the actual demonstration involved the translation of a curated set of only 49 Russian sentences into English, with the machine's vocabulary limited to just 250 words. During the Cold War, the US government was particularly interested in the automatic, instant translation of Russian documents and scientific reports. The government aggressively supported efforts at machine translation starting in 1954. Another factor that propelled the field of mechanical translation was the interest shown by the Central Intelligence Agency (CIA). During that period, the CIA firmly believed in the importance of developing machine translation capabilities and supported such initiatives. They also recognized that this program had implications that extended beyond the interests of the CIA and the intelligence community. However, researchers had underestimated the profound difficulty of word sense disambiguation. In order to translate a sentence, a machine needed to have some idea what the sentence was about, otherwise it made mistakes. An apocryphal example is "the spirit is willing but the flesh is weak." Translated back and forth with Russian, it became "the vodka is good but the meat is rotten." Later researchers would call this the commonsense knowledge problem. By 1964, the National Research Council had become concerned about the lack of progress and formed the Automatic Language Processing Advisory Committee (ALPAC) to look into the problem. They concluded, in a famous 1966 report, that machine translation was more expensive, less accurate and slower than human translation. After spending some 20 million dollars, the NRC ended all support. Careers were destroyed and research ended. algorithms for manipulating symbols seemed more promising at the time as means to achieve logical reasoning viewed at the time as the essence of intelligence, either natural or artificial. Interest in perceptrons, invented by Frank Rosenblatt, was kept alive only by the sheer force of his personality. He optimistically predicted that the perceptron "may eventually be able to learn, make decisions, and translate languages". Mainstream research into perceptrons ended partially because the 1969 book Perceptrons by Marvin Minsky and Seymour Papert emphasized the limits of what perceptrons could do. While it was already known that multilayered perceptrons are not subject to the criticism, nobody in the 1960s knew how to train a multilayered perceptrons. Backpropagation was still years away. Major funding for projects neural network approaches was difficult to find in the 1970s and early 1980s. Important theoretical work continued despite the lack of funding. The "winter" of neural network approach came to an end in the middle 1980s, when the work of John Hopfield, David Rumelhart and others revived large scale interest. Rosenblatt did not live to see this, however, as he died in a boating accident shortly after Perceptrons was published. The report was contested in a debate broadcast in the BBC "Controversy" series in 1973. The debate "The general purpose robot is a mirage" from the Royal Institution was Lighthill versus the team of Donald Michie, John McCarthy and Richard Gregory. McCarthy later wrote that "the combinatorial explosion problem has been recognized in AI from the beginning". The report led to the complete dismantling of AI research in the UK. and he and several successors allowed AI's leaders (such as Marvin Minsky, John McCarthy, Herbert A. Simon or Allen Newell) to spend it almost any way they liked. This attitude changed after the passage of Mansfield Amendment in 1969, which required DARPA to fund "mission oriented direct research, rather than basic undirected research". Pure undirected research of the kind that had gone on in the 1960s would no longer be funded by DARPA. Researchers now had to show that their work would soon produce some useful military technology. AI research proposals were held to a very high standard. The situation was not helped when the Lighthill report and DARPA's own study (the American Study Group) suggested that most AI research was unlikely to produce anything truly useful in the foreseeable future. DARPA's money was directed at specific projects with identifiable goals, such as autonomous tanks and battle management systems. By 1974, funding for AI projects was hard to find. The result, Moravec claims, is that some of the staff at DARPA had lost patience with AI research. "It was literally phrased at DARPA that 'some of these people were going to be taught a lesson having their two million dollar a year contracts cut to almost nothing!'" Moravec told Daniel Crevier. While the autonomous tank project was a failure, the battle management system (the Dynamic Analysis and Replanning Tool) proved to be enormously successful, saving billions in the first Gulf War, repaying all of DARPAs investment in AI and justifying DARPA's pragmatic policy.

Противоположное мнение

Томас Хейг утверждает, что активность в области ИИ не замедлилась, даже когда финансирование от Министерства обороны было перенаправлено, в основном в связи с законодательством Конгресса, направленным на разделение военной и академической деятельности. Более того, профессиональный интерес рос на протяжении 70-х годов. Используя количество членов SIGART (специальной группы по искусственному интеллекту) ACM в качестве индикатора интереса к теме, автор пишет: «Я обнаружил два источника данных, ни один из которых не подтверждает идею масштабной «зимы ИИ» в 1970-х годах. Один из них – это членство в SIGART ACM, основной площадке для обмена новостями и аннотациями исследований в 1970-х годах. Когда в 1973 году был опубликован доклад Лайтхилла, быстрорастущая группа насчитывала 1241 члена, что примерно вдвое превышало показатель 1969 года. Следующие пять лет традиционно считаются самым мрачным периодом первой «зимы ИИ». Сокращалось ли сообщество ИИ? Нет! К середине 1978 года членство в SIGART почти утроилось, достигнув 3500 человек. Группа росла не только быстрее, чем когда-либо, но и пропорционально быстрее, чем ACM в целом, которая начала стабилизироваться (увеличившись менее чем на 50% за весь период с 1969 по 1978 год). Каждый одиннадцатый член ACM состоял в SIGART».

Крах рынка машин LISP

В 1980-х годах корпорации по всему миру стали использовать форму программы ИИ, называемую «экспертной системой». Первой коммерческой экспертной системой была XCON, разработанная в Карнеги-Меллоне для Digital Equipment Corporation, и она имела огромный успех: по оценкам, она позволила компании сэкономить 40 миллионов долларов всего за шесть лет эксплуатации. Корпорации по всему миру начали разрабатывать и внедрять экспертные системы, и к 1985 году они потратили более миллиарда долларов на ИИ, большая часть средств была направлена в собственные отделы ИИ. Для их поддержки возникла целая индустрия, включающая такие компании, как Teknowledge и Intellicorp (KEE), а также компании Symbolics и LISP Machines Inc., которые создавали специализированные компьютеры, называемые LISP-машинами, оптимизированными для обработки языка программирования LISP – предпочтительного языка для исследований в области ИИ в США. В 1987 году, через три года после предсказания Мински и Шенка, рынок специализированного аппаратного обеспечения ИИ на основе LISP рухнул. Рабочие станции от таких компаний, как Sun Microsystems, предлагали мощную альтернативу LISP-машинам, а компании, такие как Lucid, предоставляли среду LISP для этого нового класса рабочих станций. Производительность этих универсальных рабочих станций становилась все более серьезной проблемой для LISP Machines. Компании Lucid и Franz LISP предлагали все более мощные версии LISP, которые были портируемы на все системы UNIX. Например, были опубликованы результаты тестов, показывающие, что рабочие станции сохраняли преимущество в производительности над LISP-машинами. Позже настольные компьютеры, разработанные компаниями Apple и IBM, также предлагали более простую и популярную архитектуру для запуска приложений LISP. К 1987 году некоторые из них стали столь же мощными, как и более дорогие LISP-машины. На настольных компьютерах были доступны механизмы, основанные на правилах, такие как CLIPS. Эти альтернативы лишили потребителей всякого повода покупать дорогостоящие машины, специализированные для работы с LISP. За один год была заменена целая индустрия, оценивавшаяся в полмиллиарда долларов. К началу 1990-х годов большинство коммерческих компаний, занимавшихся LISP, обанкротились, включая Symbolics, LISP Machines Inc., Lucid Inc. и другие. Другие компании, такие как Texas Instruments и Xerox, покинули эту область. Небольшое число компаний-клиентов (то есть компаний, использующих системы, написанные на LISP и разработанные на платформах LISP-машин) продолжали поддерживать эти системы. В некоторых случаях это обслуживание включало в себя принятие на себя работы по поддержке.

In the 1980s, a form of AI program called an "expert system" was adopted by corporations around the world. The first commercial expert system was XCON, developed at Carnegie Mellon for Digital Equipment Corporation, and it was an enormous success: it was estimated to have saved the company 40 million dollars over just six years of operation. Corporations around the world began to develop and deploy expert systems and by 1985 they were spending over a billion dollars on AI, most of it to in house AI departments. An industry grew up to support them, including software companies like Teknowledge and Intellicorp (KEE), and hardware companies like Symbolics and LISP Machines Inc. who built specialized computers, called LISP machines, that were optimized to process the programming language LISP, the preferred language for AI research in the USA. In 1987, three years after Minsky and Schank's prediction, the market for specialized LISP based AI hardware collapsed. Workstations by companies like Sun Microsystems offered a powerful alternative to LISP machines and companies like Lucid offered a LISP environment for this new class of workstations. The performance of these general workstations became an increasingly difficult challenge for LISP Machines. Companies like Lucid and Franz LISP offered increasingly powerful versions of LISP that were portable to all UNIX systems. For example, benchmarks were published showing workstations maintaining a performance advantage over LISP machines. Later desktop computers built by Apple and IBM would also offer a simpler and more popular architecture to run LISP applications on. By 1987, some of them had become as powerful as the more expensive LISP machines. The desktop computers had rule based engines such as CLIPS available. These alternatives left consumers with no reason to buy an expensive machine specialized for running LISP. An entire industry worth half a billion dollars was replaced in a single year. By the early 1990s, most commercial LISP companies had failed, including Symbolics, LISP Machines Inc., Lucid Inc., etc. Other companies, like Texas Instruments and Xerox, abandoned the field. A small number of customer companies (that is, companies using systems written in LISP and developed on LISP machine platforms) continued to maintain systems. In some cases, this maintenance involved the assumption of the resulting support work.

Замедление внедрения экспертных систем

К началу 1990-х годов самые первые успешные экспертные системы, такие как XCON, оказались слишком дорогими в обслуживании. Их было сложно обновлять, они не умели обучаться, они были "хрупкими" (то есть могли выдавать грубые ошибки при получении необычных входных данных), и они столкнулись с проблемами (например, с проблемой квалификации), которые были выявлены за годы до этого в исследованиях немонотонной логики. Экспертные системы оказались полезными, но лишь в нескольких специализированных областях. Другая проблема заключалась в вычислительной сложности задач поддержания непротиворечивости знаний в общем случае. KEE использовал подход, основанный на предположениях (см. NASA, TEXSYS), поддерживающий сценарии с множеством миров, который было трудно понять и применять. Немногочисленные оставшиеся компании, разрабатывавшие оболочки экспертных систем, в конечном итоге были вынуждены сократить масштабы деятельности и искать новые рынки и программные парадигмы, такие как рассуждения на основе прецедентов или универсальный доступ к базам данных. Развитие Common Lisp позволило сохранить многие системы, такие как ICAD, которые нашли применение в инженерии, основанной на знаниях. Другие системы, такие как KEE от Intellicorp, перешли с LISP на C++ (вариант) для ПК и способствовали становлению объектно-ориентированных технологий (в том числе оказав существенную поддержку разработке UML – см. UML Partners).

Конец проекта "Пятое поколение"

В 1981 году японское министерство международной торговли и промышленности выделило 850 миллионов долларов на компьютерный проект пятого поколения. Их целью было написать программы и создать машины, способные вести беседы, переводить языки, интерпретировать изображения и рассуждать как люди. К 1991 году впечатляющий список целей, намеченных в 1981 году, не был достигнут. По словам Х.П. Ньюквиста в книге "Создатели мозга", "1 июня 1992 года проект "Пятое поколение" завершился не громким успехом, а незаметным провалом".

Сокращения по инициативе стратегических вычислений

В 1983 году в ответ на проект пятого поколения DARPA вновь возобновило финансирование исследований в области ИИ через Стратегическую вычислительную инициативу. Как и было предложено изначально, проект должен был начинаться с практических, достижимых целей, включавших в себя искусственный общий интеллект как долгосрочную перспективу. Программа находилась под руководством Управления по технологиям обработки информации (IPTO) и также была направлена на развитие суперкомпьютеров и микроэлектроники. К 1985 году было потрачено 100 миллионов долларов, и 92 проекта реализовывались в 60 учреждениях, поровну в промышленности, университетах и государственных лабораториях. Исследования в области ИИ получали значительное финансирование в рамках SCI. Джек Шварц, возглавивший IPTO в 1987 году, назвал экспертные системы «хитрым программированием» и резко сократил финансирование ИИ, «подрезав» SCI «глубоко и беспощадно». Шварц полагал, что DARPA следует концентрировать финансирование только на тех технологиях, которые демонстрируют наибольший потенциал; по его словам, DARPA должна «ловить волну», а не «грести как собачка», и он был убежден, что ИИ не является «следующим прорывом». Инсайдеры программы отмечали проблемы в коммуникации, организации и интеграции. Несколько проектов пережили сокращение финансирования, включая помощника пилота и автономный наземный аппарат (которые так и не были реализованы), а также систему управления боем DART, которая (как уже отмечалось) оказалась успешной.