Введение
Мысленный эксперимент по искусственному интеллекту Джона Сёрла
британская студия разработки видеоигр
Аргумент китайской комнаты утверждает, что цифровой компьютер, выполняющий программу, не может обладать "разумом", "пониманием" или "сознанием", независимо от того, насколько разумно или похоже на человеческое поведение демонстрирует программа. Философ Джон Сёрл представил этот аргумент в своей статье "Разум, мозг и программы", опубликованной в журнале Behavioral and Brain Sciences в 1980 году. Готфрид Лейбниц (1714), Анатолий Днепров (1961), Лоуренс Дэвис (1974) и Нед Блок (1978) выдвигали схожие аргументы. Версия Сёрла широко обсуждалась в последующие годы. Центральным элементом аргументации Сёрла является мысленный эксперимент, известный как "китайская комната". Аргумент направлен против философских позиций функционализма и компационализма, которые утверждают, что разум можно рассматривать как систему обработки информации, оперирующую формальными символами, и что симуляция заданного психического состояния достаточна для его существования. В частности, аргумент призван опровергнуть позицию, которую Сёрл называет гипотезой сильного ИИ: "Соответственно запрограммированный компьютер с правильными входными и выходными данными тем самым будет обладать разумом в точности в том же смысле, в каком разум есть у людей". Хотя изначально этот аргумент был представлен в ответ на заявления исследователей в области искусственного интеллекта (ИИ), он не является аргументом против целей основных исследований ИИ, поскольку не указывает на предел "интеллектуального" поведения, которое может демонстрировать машина. Аргумент применим только к цифровым компьютерам, выполняющим программы, и не распространяется на машины в целом.
Китайский мыслительный эксперимент
Мысленный эксперимент Сёрла начинается с гипотетической предпосылки: предположим, что исследования в области искусственного интеллекта достигли успеха в создании компьютера, который ведёт себя так, будто понимает китайский язык. Он принимает китайские иероглифы на вход и, следуя инструкциям компьютерной программы, выдаёт другие китайские иероглифы в качестве результата. Предположим, говорит Сёрл, что этот компьютер выполняет свою задачу настолько убедительно, что легко проходит тест Тьюринга: он убеждает носителя китайского языка в том, что программа сама является живым человеком, говорящим на китайском. На все вопросы, которые задаёт человек, он даёт уместные ответы, так что любой носитель китайского языка будет убеждён, что разговаривает с другим человеком, владеющим китайским языком. Вопрос, на который хочет ответить Сёрл, заключается в следующем: действительно ли машина "понимает" китайский язык? Или она лишь имитирует способность к пониманию китайского? Сёрл называет первую позицию "сильным ИИ", а вторую – "слабым ИИ". Затем Сёрл предполагает, что он находится в закрытой комнате и имеет книгу с английской версией компьютерной программы, а также достаточно бумаги, карандашей, ластиков и картотечных шкафов. Сёрл может получать китайские иероглифы через щель в двери, обрабатывать их согласно инструкциям программы и выдавать китайские иероглифы в качестве результата, не понимая смысла китайской письменности. Если бы компьютер прошёл тест Тьюринга таким образом, то, по словам Сёрла, он бы тоже прошёл его, просто выполняя программу вручную. Сёрл утверждает, что нет принципиальной разницы между ролью компьютера и его собственной в этом эксперименте. Каждый просто следует программе, шаг за шагом, производя поведение, которое пользователь затем интерпретирует как проявление разумной беседы. Однако сам Сёрл не смог бы понять эту беседу. ("Я не знаю ни одного китайского слова", – отмечает он.) Следовательно, он заключает, что компьютер тоже не смог бы понять эту беседу. Сёрл утверждает, что без "понимания" (или "интенциональности") мы не можем описать действия машины как "мышление", и, поскольку она не мыслит, у неё нет "сознания" в обычном смысле этого слова. Поэтому он приходит к выводу, что гипотеза "сильного ИИ" неверна.
История
Готфрид Лейбниц в 1714 году выдвинул аналогичный аргумент против механизма (идеи о том, что всё, из чего состоит человеческое существо, в принципе может быть объяснено в механических терминах. Иными словами, человек, включая его разум, является лишь очень сложной машиной). Лейбниц использовал мысленный эксперимент по расширению мозга до размеров мельницы. Лейбницу было трудно представить, что "ум", способный к "восприятию", может быть сконструирован исключительно с использованием механических процессов. Питер Винч выдвинул ту же мысль в своей книге «Идея социальной науки и её отношение к философии» (1958), где он приводит аргумент, показывающий, что «человек, понимающий китайский язык, – это не человек, обладающий чётким пониманием статистических вероятностей появления различных слов в китайском языке» (с. 108). Советский кибернетик Анатолий Днепров выдвинул по существу идентичный аргумент в 1961 году в форме рассказа «Игра». В нём стадион людей выступает в роли переключателей и ячеек памяти, реализующих программу для перевода предложения на португальский язык, который никому из них не известен. Игра была организована «Профессором Зарубиным» для ответа на вопрос: «Могут ли математические машины мыслить?». Говоря устами Зарубина, Днепров пишет: «Единственный способ доказать, что машины могут мыслить, – это превратиться в машину и изучить свой мыслительный процесс», и он заключает, как и Серль: «Мы доказали, что даже самая совершенная симуляция машинного мышления не является самим мыслительным процессом». В 1974 году Лоуренс Дэвис представил себе дублирование мозга с использованием телефонных линий и офисов, укомплектованных людьми, а в 1978 году Нед Блок представил себе всё население Китая, вовлечённое в подобное моделирование мозга. Этот мысленный эксперимент известен как «Китайский мозг», также «Китайская нация» или «Китайский спортзал». Версия Серла появилась в его статье 1980 года «Умы, мозги и программы», опубликованной в журнале Behavioral and Brain Sciences. В конечном итоге статья стала «самой влиятельной целевой статьёй» журнала, породив огромное количество комментариев и ответов в последующие десятилетия, и Серль продолжал защищать и совершенствовать свой аргумент во многих статьях, популярных публикациях и книгах. Дэвид Коул пишет, что «аргумент о китайской комнате, вероятно, был самым широко обсуждаемым философским аргументом в когнитивной науке за последние 25 лет». Большая часть дискуссии состоит из попыток его опровергнуть. «Подавляющее большинство, – отмечает редактор BBS Стивен Харнад, – по-прежнему считает аргумент о китайской комнате совершенно ошибочным». Огромный объём литературы, возникшей вокруг него, вдохновил Пэта Хейса на замечание о том, что область когнитивной науки следует переопределить как «продолжающуюся исследовательскую программу, направленную на доказательство ложности аргумента о китайской комнате Серла». Аргумент Серла стал «некоторой классикой в когнитивной науке», по словам Харнада. Варол Акман согласен с этим и описал оригинальную статью как «образец философской ясности и чистоты».
Философия
Хотя аргумент «Китайская комната» был первоначально представлен в ответ на утверждения исследователей в области искусственного интеллекта, философы стали рассматривать его как важную часть философии сознания. Он является вызовом функционализму и вычислительной теории сознания и связан с такими вопросами, как психофизическая проблема, проблема других сознаний, проблема заземления символов и сложная проблема сознания.
Сильный ИИ против биологического натурализма
Серл придерживается философской позиции, которую он называет "биологическим натурализмом": сознание и понимание требуют специфических биологических механизмов, присутствующих в мозге. Он пишет, что "мозг порождает сознание" и что "фактические психические феномены человека зависят от фактических физико-химических свойств фактического человеческого мозга". Серл утверждает, что эти механизмы (известные в нейробиологии как "нейронные корреляты сознания") должны обладать определенными причинными свойствами, позволяющими человеку переживать сознание. Вера Серла в существование этих свойств подвергалась критике. Серл не отрицает возможности сознания и понимания у машин, поскольку, как он пишет, "мы сами являемся такими машинами". Серл считает, что мозг, по сути, является машиной, но именно мозг порождает сознание и понимание, используя специфические механизмы. Если нейробиологии удастся выделить механический процесс, порождающий сознание, то Серл признает возможность создания машин, обладающих сознанием и пониманием. Однако, без необходимых специфических механизмов, Серл не верит в возможность возникновения сознания. Биологический натурализм подразумевает, что нельзя определить, происходит ли переживание сознания, лишь изучая функционирование системы, поскольку специфические механизмы мозга являются существенными. Таким образом, биологический натурализм напрямую противоположен как бихевиоризму, так и функционализму (включая "компьютерный функционализм" или "сильный ИИ"). Биологический натурализм схож с теорией тождества (позицией, согласно которой психические состояния "тождественны" или "состоят из" неврологических событий); однако у Серла есть конкретные технические возражения против теории тождества. Биологический натурализм Серла и сильный ИИ противопоставляются картезианскому дуализму, классической идее о том, что мозг и сознание состоят из разных "субстанций". Фактически, Серл обвиняет сильный ИИ в дуализме, утверждая, что "сильный ИИ имеет смысл только при дуалистическом допущении, что мозг не имеет значения, когда речь идет о сознании".
Сознание
Оригинальное изложение Серла акцентировало внимание на "понимании" – то есть на ментальных состояниях, обладающих тем, что философы называют "интенциональностью", – и не касалось напрямую других тесно связанных понятий, таких как "сознание". Однако в более поздних выступлениях Серл включил сознание в качестве истинной цели аргумента. Дэвид Чалмерс пишет: "вполне очевидно, что сознание лежит в корне проблемы" китайской комнаты. Колин МакГинн утверждает, что китайская комната предоставляет веские доказательства того, что трудная проблема сознания принципиально неразрешима. Важно подчеркнуть, что спор идет не о том, может ли машина обладать сознанием, а о том, возможно ли продемонстрировать, что она (или что-либо другое) сознательно. Очевидно, что любой другой способ исследования человека, находящегося в китайской комнате, в принципе сталкивается с теми же трудностями, что и обмен вопросами и ответами на китайском языке. Просто невозможно узнать, находится ли в комнате сознательное существо или хитроумная симуляция. Серл утверждает, что это справедливо только для наблюдателя, находящегося вне комнаты. Суть мысленного эксперимента заключается в том, чтобы поместить кого-то внутрь комнаты, где он сможет непосредственно наблюдать за работой сознания. Серл утверждает, что с его точки зрения внутри комнаты нет ничего, что могло бы хоть как-то породить сознание, кроме него самого, и, очевидно, у него нет разума, способного говорить на китайском языке.
Прикладная этика
Патрик Хью использовал аргумент "Китайская комната", чтобы вывести требования к военным системам командования и управления, если они должны сохранять моральную ответственность командира. Он провёл аналогию между командиром в командном центре и человеком в "Китайской комнате", и проанализировал её, опираясь на аристотелевские понятия "принуждение" и "неведение". Информация могла быть "преобразована" из смысла в символы и манипулироваться символически, но моральная ответственность могла быть подорвана при недостаточной "восходящей конверсии" в смысл. Хью привел примеры из инцидента с участием USS Vincennes.
Информатика
Аргумент китайской комнаты — это, прежде всего, аргумент в философии сознания, и как ведущие учёные в области компьютерных наук, так и исследователи искусственного интеллекта считают его несущественным для своих областей. Тем не менее, для понимания этого аргумента необходимо знание нескольких концепций, разработанных в компьютерных науках, включая обработку символов, машины Тьюринга, полноту по Тьюрингу и тест Тьюринга.
Сильный ИИ против исследований ИИ
Аргументы Серла обычно не рассматриваются как проблема для исследований в области ИИ. Основная задача исследований искусственного интеллекта – создание полезных систем, демонстрирующих интеллектуальное поведение, и не имеет значения, является ли этот интеллект «всего лишь» симуляцией. Исследователи ИИ Стюарт Рассел и Питер Норвиг написали в 2021 году: «Нас интересуют программы, которые ведут себя интеллектуально. Отдельные аспекты сознания, самосознания, внимания можно запрограммировать и включить в состав интеллектуальной машины. Создание машины, обладающей сознанием в точности как у человека, – это задача, которую мы не готовы решать». Серл не отрицает, что исследования ИИ могут создавать машины, способные к высокоинтеллектуальному поведению. Аргумент «китайской комнаты» не исключает возможности создания цифровой машины, которая действует более интеллектуально, чем человек, но при этом не обладает разумом или интенциональностью в том же смысле, что и мозг. «Сильный тезис об искусственном интеллекте» Серла не следует путать с «сильным ИИ», как его определяют Рэй Курцвейл и другие футурологи, использующие этот термин для описания машинного интеллекта, сопоставимого или превосходящего человеческий интеллект, то есть искусственного общего интеллекта, ИИ человеческого уровня или сверхинтеллекта. Курцвейл в первую очередь имеет в виду степень выраженности интеллекта машины, в то время как аргумент Серла не накладывает на это никаких ограничений. Серл утверждает, что сверхинтеллектуальная машина не обязательно будет обладать разумом и сознанием.
Тест Тьюринга
Китайская комната реализует версию теста Тьюринга. Алан Тьюринг предложил этот тест в 1950 году, чтобы помочь ответить на вопрос: "могут ли машины мыслить?". В стандартной версии человеческий судья ведет бессмысленный разговор на естественном языке с человеком и машиной, разработанной для генерации ответов, неотличимых от человеческих. Все участники изолированы друг от друга. Если судья не может надёжно отличить машину от человека, считается, что машина прошла тест. Затем Тьюринг рассмотрел все возможные возражения против утверждения "машины могут мыслить" и обнаружил, что на эти вопросы можно дать простые и очевидные ответы, если сформулировать их таким образом. Однако он не предполагал, что тест должен измерять наличие "сознания" или "понимания". Он не считал это релевантным для тех вопросов, которые он рассматривал. Он писал:
Для Сёрла, как философа, исследующего природу разума и сознания, именно эти вопросы являются ключевыми. Китайская комната создана для того, чтобы показать, что теста Тьюринга недостаточно для определения наличия сознания, даже если комната может вести себя или функционировать как сознательный разум.
Обработка символов
Китайская комната (и все современные компьютеры) манипулируют физическими объектами для выполнения вычислений и моделирования. Исследователи в области ИИ Аллен Ньюэлл и Герберт Саймон назвали этот тип машин системой физических символов. Она также эквивалентна формальным системам, используемым в математической логике. Серль подчеркивает, что подобная манипуляция символами носит синтаксический характер (заимствуя термин из изучения грамматики). Компьютер манипулирует символами, используя правила синтаксиса, не обладая при этом знанием семантики этих символов (то есть их значения). Ньюэлл и Саймон предположили, что система физических символов (например, цифровой компьютер) обладает всеми необходимыми механизмами для осуществления "общего интеллектуального действия", или, как это известно сегодня, искусственного общего интеллекта. Они сформулировали это как философскую позицию – гипотезу физической системы символов: "Система физических символов обладает необходимыми и достаточными средствами для общего разумного действия". Аргумент китайской комнаты не опровергает эту гипотезу, поскольку она сформулирована в терминах "интеллектуального действия", то есть внешнего поведения машины, а не наличия или отсутствия понимания, сознания и разума. Программы ИИ двадцать первого века (такие как "глубокое обучение") выполняют математические операции над огромными матрицами неидентифицированных чисел и мало напоминают символьную обработку, используемую программами ИИ во времена, когда Серль писал свою критику в 1980 году. Нильс Нильссон описывает подобные системы как "динамические", а не "символические". Нильссон отмечает, что по сути это оцифрованные представления динамических систем, отдельные числа не имеют конкретной семантики, а являются лишь выборками или точками данных из динамического сигнала, и именно сигнал, который аппроксимируется, обладает семантикой. Нильссон утверждает, что неразумно рассматривать эти сигналы как "обработку символов" в том же смысле, что и гипотеза о физических системах символов.
Китайская комната и Тьюринговая полнота
Китайская комната имеет конструкцию, аналогичную современной вычислительной машине. Она построена по архитектуре фон Неймана, которая включает в себя программу (книгу инструкций), память (бумаги и картотеки), центральный процессор, выполняющий инструкции (человек), и средство для записи символов в память (карандаш и ластик). Машина с такой архитектурой в теоретической информатике называется "полной по Тьюрингу", поскольку она обладает необходимым аппаратным обеспечением для выполнения любых вычислений, которые может выполнить машина Тьюринга, и, следовательно, способна к пошаговой симуляции любой другой цифровой машины, при наличии достаточного объема памяти и времени. Алан Тьюринг пишет: "все цифровые компьютеры в определенном смысле эквивалентны". Широко принятый тезис Черча-Тьюринга утверждает, что любая функция, вычислимая эффективной процедурой, вычислима машиной Тьюринга. Тьюринговая полнота китайской комнаты подразумевает, что она может выполнять любые операции, доступные любому другому цифровому компьютеру (хотя и значительно медленнее). Таким образом, если китайская комната не содержит или не способна содержать разум, понимающий китайский язык, то ни один другой цифровой компьютер также не может содержать разум. Некоторые ответы на аргументы Серла начинаются с утверждения, что комната, как она описана, не может обладать разумом, говорящим на китайском языке. Аргументы такого рода, по мнению Стива Харнада, являются не опровержением, а скорее подтверждением аргумента о китайской комнате, поскольку они фактически подразумевают, что ни один цифровой компьютер не может обладать разумом. Есть критики, такие как Ханок Бен-Ями, которые утверждают, что китайская комната не может эмулировать все возможности цифрового компьютера, например, определять текущее время.
Системы и ответы виртуального разума: поиск разума
Эти ответы предприняты как попытка ответить на вопрос: если человек в комнате не говорит по-китайски, то где находится "сознание", которое это делает? Эти ответы затрагивают ключевые онтологические проблемы соотношения сознания и тела, а также симуляции и реальности. Все ответы, локализующие сознание в комнате, представляют собой варианты "системного ответа".
Ответ системы
Основная версия ответа системы утверждает, что китайский язык понимает "целая система". Хотя человек понимает только английский, когда он объединяется с программой, бумагой, карандашами и шкафами, они образуют систему, способную понимать китайский. "Здесь понимание не приписывается отдельной личности; скорее, оно приписывается всей системе, частью которой он является", – объясняет Серль. Серль отмечает, что (в этой простой версии ответа) "система" – это не что иное, как совокупность обычных физических объектов; она наделяет способностью к пониманию и сознанию "соединение этого человека и обрывков бумаги", не предпринимая никаких усилий, чтобы объяснить, как эта груда объектов стала сознательным, мыслящим существом. Серль утверждает, что ни один здравомыслящий человек не должен быть удовлетворен этим ответом, если только он не находится "под влиянием идеологии". Чтобы этот ответ был хоть сколько-нибудь правдоподобным, необходимо исходить из того, что сознание может быть продуктом обработки информации "системой" и не требует ничего, напоминающего фактическую биологию мозга. Затем Серль отвечает, упрощая этот список физических объектов: он спрашивает, что произойдет, если человек запомнит правила и будет держать все в голове? Тогда вся система будет состоять из одного объекта: самого человека. Серль утверждает, что если человек не понимает китайский, то и система не понимает китайский, потому что теперь "система" и "человек" описывают один и тот же объект. Критики ответа Серла утверждают, что программа позволила человеку иметь два ума в одной голове. Если предположить, что "ум" является формой обработки информации, то теория вычислений может объяснить одновременное протекание двух вычислений, а именно (1) вычисление, обеспечивающее универсальную программируемость (которое является функцией, реализуемой человеком и материалами для записей, независимо от конкретного программного содержания) и (2) вычисление машины Тьюринга, описываемое программой (которое реализуется всем, включая конкретную программу). Таким образом, теория вычислений формально объясняет возможность того, что второе вычисление в китайской комнате может повлечь за собой семантическое понимание китайских входных данных, эквивалентное человеческому. В центре внимания должна находиться машина Тьюринга программы, а не человек. Однако, с точки зрения Серла, этот аргумент является круговым. Суть вопроса заключается в том, является ли сознание формой обработки информации, и этот ответ требует, чтобы мы приняли это предположение. Более сложные версии системного ответа пытаются точнее определить, что представляет собой "система", и различаются в том, как именно они ее описывают. Согласно этим ответам, "ум, говорящий на китайском", может быть представлен такими сущностями, как: "программное обеспечение", "программа", "работающая программа", симуляция "нейронных коррелятов сознания", "функциональная система", "симулированный ум", "эмерджентное свойство" или "виртуальный ум" (описан ниже).
Виртуальный ответ
Марвин Мински предложил версию системного ответа, известную как "ответ виртуального разума". Термин "виртуальный" используется в информатике для описания объекта, который кажется существующим "в" компьютере (или компьютерной сети) лишь благодаря тому, что программное обеспечение создает такое впечатление. Все объекты "внутри" компьютеров (включая файлы, папки и т. д.) являются "виртуальными", за исключением электронных компонентов компьютера. Аналогично, утверждает Мински, компьютер может содержать "разум", который является виртуальным в том же смысле, что и виртуальные машины, виртуальные сообщества и виртуальная реальность. Чтобы прояснить различие между простым системным ответом, приведенным выше, и ответом виртуального разума, Дэвид Коул отмечает, что в одной системе одновременно могут выполняться два моделирования: одно, говорящее на китайском языке, и другое – на корейском. Хотя существует только одна система, может быть несколько "виртуальных разумов", следовательно, "система" не может быть "разумом". Серл отвечает, что такой разум – это, в лучшем случае, симуляция, и пишет: "Никто не предполагает, что компьютерная симуляция пожара пятой категории сожжет окрестности или что компьютерная симуляция грозы промочит нас до нитки". Николас Фэрн отвечает, что в некоторых случаях симуляция ничем не хуже оригинала. "Когда мы вызываем функцию карманного калькулятора на настольном компьютере, на экране появляется его изображение. Мы не жалуемся, что "это не настоящий калькулятор", потому что физические атрибуты устройства не имеют значения". Вопрос в том, похож ли человеческий разум на карманный калькулятор, по сути состоящий из информации, где идеальная симуляция вещи и есть сама вещь? Или разум похож на грозу – на нечто в мире, что больше, чем просто симуляция, и не может быть полностью реализовано компьютерным моделированием? На протяжении десятилетий этот вопрос о моделировании заставил исследователей в области ИИ и философов задуматься, не более ли уместен термин "синтетический интеллект", чем общепринятое описание таких интеллектов как "искусственный". Эти ответы дают объяснение тому, кто именно понимает китайский язык. Если помимо человека в комнате есть что-то, способное понимать китайский, Серл не может утверждать, что (1) человек не понимает китайский, следовательно (2) ничто в комнате не понимает китайский. По мнению сторонников этого ответа, это показывает, что аргумент Серла не доказывает ложность "сильного ИИ". Однако сами по себе эти ответы не предоставляют никаких доказательств истинности сильного ИИ. Они не демонстрируют, что система (или виртуальный разум) понимает китайский язык, кроме гипотетического предположения о том, что она проходит тест Тьюринга. Серл утверждает, что если мы считаем сильный ИИ хотя бы отдаленно правдоподобным, то Китайская комната – это пример, требующий объяснения, и объяснить, как сознание может "возникнуть" из комнаты или как система может обладать сознанием, трудно или невозможно. Как пишет Серл, "системный ответ просто уходит от вопроса, настаивая на том, что система должна понимать китайский язык", и таким образом является либо уклонением от ответа, либо безнадежно круговым.
Ответы роботов и семантики: поиск смысла
Для человека в комнате эти символы – всего лишь бессмысленные "каракули". Но если китайская комната действительно "понимает" то, что она говорит, то символы должны получать свое значение откуда-то. Эти аргументы пытаются установить связь между символами и тем, что они обозначают. Эти ответы направлены на решение проблем, поднятых Серлом, касающихся интенциональности, обоснованности символов и соотношения синтаксиса и семантики.
Ответ робота
Предположим, что вместо комнаты программа была помещена в робота, способного перемещаться и взаимодействовать с окружающей средой. Это позволило бы установить "каузальную связь" между символами и обозначаемыми ими объектами. Ханс Моравек отмечает: "Если бы мы могли соединить программу рассуждений с роботом, нам больше не потребовался бы человек для придания смысла: он исходил бы из физического мира". Ответ Серла состоит в том, чтобы предположить, что, не зная об этом, человек в китайской комнате получал бы некоторые входные данные непосредственно с камеры, установленной на роботе, а некоторые выходные данные использовались бы для управления руками и ногами робота. Тем не менее, человек в комнате по-прежнему просто следует правилам и не понимает значения символов. Серл пишет: "Он не видит то, что попадает в глаза робота". (См. комнату Мэри для аналогичного мысленного эксперимента.)
Произведённое значение
Некоторые отвечают, что комната, как описывает ее Серль, связана с миром: через китайских говорящих, с которыми она "общается", и через программистов, которые разработали базу знаний в его картотеке. Символы, которыми манипулирует Серль, уже значимы, просто он сам их не понимает. Серль утверждает, что символы имеют лишь "вторичное" значение, подобно значению слов в книгах. Значение символов зависит от сознательного понимания китайских говорящих и программистов, находящихся вне комнаты. Комната, как и книга, не обладает собственным пониманием.
Знание здравого смысла / контекстный ответ
Некоторые утверждают, что значения символов проистекают из обширного "фона" общеизвестных знаний, закодированных в программе и в картотеках. Это обеспечило бы "контекст", который наделял бы символы смыслом. Сёрл согласен с тем, что этот фон существует, но не согласен с тем, что его можно встроить в программы. Хьюберт Дрейфус также критиковал идею о том, что "фон" можно представить символически. На все эти утверждения ответ Сёрла один и тот же: каким бы обширным ни было знание, заложенное в программу, и как бы ни была программа связана с внешним миром, он всё равно остаётся в комнате, манипулируя символами по правилам. Его действия синтаксические, и это никогда не позволит ему понять, что означают символы. Сёрл пишет: "Синтаксис недостаточен для семантики". Однако для тех, кто признаёт, что действия Сёрла имитируют разум, отличный от его собственного, важным вопросом является не то, что символы значат для Сёрла, а то, что они значат для виртуального разума. Пока Сёрл заперт в комнате, виртуальный разум не заперт: он связан с внешним миром через китайских собеседников, через программистов, предоставивших ему знания о мире, и через камеры и другие датчики, которые могут предоставить робототехники.
Мозговое моделирование и ответы связистов: перепроектирование комнаты
Эти аргументы – все варианты системного ответа, которые указывают на важность определенного типа системы; они выделяют конкретную технологию, способную породить сознательное понимание в машине. (Ответы, касающиеся "робота" и "здравого смысла", упомянутые выше, также подчеркивают важность определенного типа системы.)
Ответ на мозговом симуляторе
Предположим, что программа смоделировала в мельчайших деталях работу каждого нейрона в мозге говорящего на китайском языке. Это усиливает интуицию, что не будет существенной разницы между работой программы и работой живого человеческого мозга. Серл отвечает, что такая симуляция не воссоздает важные характеристики мозга – его причинные и интенциональные состояния. Серл категорически утверждает, что "человеческие психические феномены зависят от реальных физико-химических свойств реальных человеческих мозгов". Более того, он утверждает: Два варианта ответа о мозговом симуляторе – это сценарий "китайского мозга" и сценарий замены мозга.
Two variations on the brain simulator reply are the China brain and the brain replacement scenario.
Китайский мозг
Что, если мы попросим каждого гражданина Китая смоделировать один нейрон, используя телефонную сеть для имитации связей между аксонами и дендритами? В этом случае кажется очевидным, что ни один человек не будет понимать, что «говорит» мозг. Также очевидно, что эта система будет функционально эквивалентна мозгу, а значит, если сознание является функцией, то эта система будет обладать сознанием.
Сценарий замены мозга
В этом мы должны представить, что инженеры изобрели крошечный компьютер, который моделирует работу отдельного нейрона. Что произойдет, если мы заменим один нейрон за раз? Замена одного, очевидно, никак не повлияет на сознание. Замена всех нейронов создаст цифровой компьютер, имитирующий мозг. Если Серль прав, то сознание должно исчезнуть в процессе замены (либо постепенно, либо сразу). Критики Серля утверждают, что не будет ни одного момента в ходе этого процесса, когда он сможет утверждать, что сознание прекратилось, а началась бессознательная симуляция. (См. парадокс «Корабль Тесея» для аналогичного мысленного эксперимента.)
Ответы коннекционистов
Тесно связанный с ответом, основанным на моделировании мозга, этот аргумент утверждает, что массивно-параллельная коннекционистская архитектура способна к пониманию. Современное глубокое обучение является массивно-параллельным и успешно демонстрирует разумное поведение во многих областях. Нильс Нильссон утверждает, что современный ИИ использует оцифрованные "динамические сигналы", а не "символы" того типа, которые использовались в ИИ в 1980-х годах. В данном случае семантику несет в себе дискретизированный сигнал, а не отдельные числа, обрабатываемые программой. Это машина, отличная от той, которую представлял себе Сёрл.
Комбинированный ответ
Этот ответ объединяет ответ робота и ответ, полученный в результате моделирования мозга, утверждая, что моделирование мозга, подключенное к миру через тело робота, может обладать сознанием.
Много особняков / подождите до следующего года . Ответьте .
В будущем более совершенные технологии позволят компьютерам понимать. Серль согласен, что это возможно, но считает этот момент несущественным. Серль согласен, что сознательное понимание может существовать и в другом оборудовании, помимо мозга. Эти аргументы (и ответы, связанные с роботами или здравым смыслом) указывают на определенные технологии, которые могли бы помочь создать сознательное понимание в машине. Их можно интерпретировать двумя способами: либо они утверждают, что (1) эта технология необходима для сознания, китайская комната не реализует или не может реализовать эту технологию, и, следовательно, китайская комната не сможет пройти тест Тьюринга, либо (даже если бы она прошла) она не обладала бы сознательным пониманием. Либо они могут утверждать, что (2) легче увидеть, что в китайской комнате есть разум, если представить себе эту технологию, используемую для его создания. В первом случае, когда требуются такие характеристики, как тело робота или коннекционистская архитектура, Серль утверждает, что сильный ИИ (в его понимании) был оставлен. Китайская комната обладает всеми элементами машины Тьюринга, и, следовательно, способна имитировать любые цифровые вычисления. Если комната Серля не сможет пройти тест Тьюринга, то никакая другая цифровая технология не сможет его пройти. Если комната Серля сможет пройти тест Тьюринга, но все равно не будет обладать разумом, то тест Тьюринга будет недостаточен для определения наличия у комнаты "ума". В любом случае, это опровергает одну из позиций, которые Серль считает "сильным ИИ", подтверждая его аргумент. В частности, аргументы, связанные с мозгом, опровергают сильный ИИ, если они предполагают, что нет более простого способа описать разум, чем создать программу, столь же загадочную, как и сам мозг. Он пишет: "Я полагал, что вся идея сильного ИИ заключается в том, что нам не нужно знать, как работает мозг, чтобы понять, как работает разум". Если вычисления не дают объяснения человеческому разуму, то сильный ИИ потерпел неудачу, по мнению Серля. Другие критики считают, что комната, как ее описал Серль, на самом деле обладает разумом, однако они утверждают, что это трудно увидеть – описание Серля верно, но может ввести в заблуждение. Они надеются, что, перепроектировав комнату более реалистично, это станет более очевидным. В этом случае эти аргументы используются как апелляция к интуиции (см. следующий раздел). На самом деле, комнату можно так же легко перепроектировать, чтобы ослабить нашу интуицию. Аргумент Блокхеда Неда Блока предполагает, что программу, в теории, можно переписать в виде простой таблицы правил вида "если пользователь вводит S, ответить P и перейти к X". По крайней мере, в принципе, любую программу можно переписать (или "рефакторировать") в такую форму, даже симуляцию мозга. В сценарии с Блокхедом все психическое состояние скрыто в букве X, которая представляет собой адрес памяти – число, связанное со следующим правилом. Трудно представить, что мгновение сознательного опыта человека можно зафиксировать в одном большом числе, но именно это и утверждает "сильный ИИ". С другой стороны, такая таблица поиска была бы невообразимо большой (до физической невозможности), и состояния могли бы быть чрезвычайно специфичными. Серль утверждает, что независимо от того, как написана программа или как машина связана с миром, разум имитируется простой цифровой машиной (или машинами), работающей шаг за шагом. Эти машины всегда такие же, как и человек в комнате: они ничего не понимают и не говорят по-китайски. Они просто манипулируют символами, не понимая их значения. Серль пишет: "Я могу использовать любую формальную программу, какую угодно, но я все равно ничего не пойму".
Скорость и сложность: обращение к интуиции
Следующие аргументы (и интуитивные интерпретации вышеприведенных аргументов) не объясняют напрямую, как разум, говорящий на китайском языке, мог бы существовать в комнате Серла, или как символы, которыми он оперирует, могли бы приобрести смысл. Однако, вызывая сомнения в интуиции Серла, они поддерживают другие точки зрения, такие как аргументы, основанные на системном подходе и использовании роботов. Если эти аргументы будут приняты, они помешают Серлу утверждать, что его вывод очевиден, поскольку подрывают интуицию, необходимую для его уверенности. Многие критики полагают, что аргумент Серла полностью опирается на интуицию. Нед Блок пишет: «Сила аргумента Серла зависит от интуитивного представления о том, что некоторые сущности не способны мыслить». Дэниел Деннетт описывает аргумент китайской комнаты как вводящий в заблуждение «интуитивный насос» и пишет: «Мысленный эксперимент Серла незаконно опирается на то, что вы представляете себе слишком упрощенный и нерелевантный случай, и делаете из него "очевидный" вывод». Некоторые из вышеперечисленных аргументов также апеллируют к интуиции, особенно те, которые призваны сделать более правдоподобной идею о том, что в китайской комнате может существовать разум, что может включать в себя робота, знания здравого смысла, моделирование мозга и коннекционистские подходы. Некоторые из вышеперечисленных ответов также касаются конкретной проблемы сложности. Коннекционистский подход подчеркивает, что функционирующая система искусственного интеллекта должна быть столь же сложной и взаимосвязанной, как человеческий мозг. Аргумент, основанный на знаниях здравого смысла, подчеркивает, что любая программа, прошедшая тест Тьюринга, должна быть «исключительно гибкой, сложной и многоуровневой системой, изобилующей "знаниями о мире", метазнаниями и мета-метазнаниями», как объясняет Дэниел Деннет.
Скорость и сложность ответов
Многие из этих критиков подчеркивают скорость и сложность человеческого мозга, который обрабатывает информацию со скоростью 100 миллиардов операций в секунду (по некоторым оценкам). Несколько критиков отмечают, что человеку в комнате, вероятно, потребовались бы миллионы лет, чтобы ответить на простой вопрос, и потребовались бы "архивные шкафы" астрономических размеров. Это ставит под сомнение ясность интуиции Серла. Особенно яркий пример ответа, основанного на скорости и сложности, принадлежит Полу и Патриции Черчленд. Они предлагают аналогичный мысленный эксперимент: "Представьте себе темную комнату, в которой находится человек, держащий в руках магнит или заряженный предмет. Если человек будет поднимать и опускать магнит, то, согласно теории Максвелла об искусственном излучении (ИИ), это запустит распространяющуюся окружность электромагнитных волн и, таким образом, объект станет излучать свет. Но, как хорошо известно всем, кто играл с магнитами или заряженными шарами, их силы (или любые другие силы, впрочем) даже при движении не производят никакого излучения. Невозможно представить, что можно создать настоящее излучение, просто перемещая силы вокруг!" По мнению Черчленд, проблема в том, что ему пришлось бы поднимать и опускать магнит примерно 450 триллионов раз в секунду, чтобы что-либо увидеть. Стивен Харнад критикует ответы, основанные на скорости и сложности, когда они уходят от обращения к нашим интуициям. Он пишет: "Некоторые сделали культ из скорости и времени, полагая, что при ускорении до нужной скорости вычислительное может совершить фазовый переход в ментальное. Должно быть ясно, что это не контраргумент, а лишь спекуляция ad hoc (как и точка зрения, что все дело в повышении до нужной степени "сложности"). Серль утверждает, что его критики также полагаются на интуицию, однако интуиция его оппонентов не имеет эмпирической основы. Он пишет, что для того, чтобы считать "системный ответ" хоть сколько-нибудь правдоподобным, человек должен быть "под влиянием идеологии". Системный ответ имеет смысл (для Серла), если предположить, что любая "система" может обладать сознанием, просто в силу того, что она является системой с правильным поведением и функциональными частями. Это предположение, по его словам, необоснованно, учитывая наш опыт сознания.
Другие умы и зомби: бессмысленность
Несколько ответов утверждают, что аргумент Сёрла нерелевантен, поскольку его предпосылки о разуме и сознании ошибочны. Сёрл полагает, что люди ежедневно непосредственно переживают своё сознание, интенциональность и природу разума, и что это переживание сознания не вызывает сомнений. Он пишет, что мы должны "исходить из реальности и познаваемости ментального". Приведённые ниже ответы ставят под вопрос, имеет ли Сёрл право использовать свой собственный опыт сознания, чтобы утверждать, что оно представляет собой нечто большее, чем механическая обработка символов. В частности, аргумент о других разумах утверждает, что мы не можем использовать свой опыт сознания для ответа на вопросы о других разумах (даже о разуме компьютера), аргумент об эпифеноме ставит под сомнение, можем ли мы вообще строить какие-либо аргументы относительно сознания, которое, по определению, не поддаётся обнаружению никаким экспериментом, а аргумент элиминативного материализма утверждает, что личное сознание Сёрла не "существует" в том смысле, в котором он сам его понимает.
Другие умы отвечают
В "Ответе об иных разумах" указывается, что аргумент Сёрла является вариантом проблемы других разумов, примененным к машинам. У нас нет способа определить, совпадает ли субъективный опыт других людей с нашим собственным. Мы можем лишь изучать их поведение (то есть, подвергая их собственному варианту теста Тьюринга). Критики Сёрла утверждают, что он предъявляет к "китайской комнате" более высокие требования, чем к обычному человеку. Нильс Нильссон пишет: "Если программа ведет себя так, будто она умножает, большинство из нас сказали бы, что она, собственно, и умножает. Насколько мне известно, Сёрл может лишь создавать впечатление глубоких размышлений об этих вопросах. Но, даже если я с ним не согласен, его симуляция достаточно убедительна, и я готов признать, что он действительно мыслит". Алан Тьюринг предвидел линию аргументации Сёрла (которую он назвал "Аргументом от сознания") еще в 1950 году и сформулировал ответ об иных разумах. Он заметил, что люди обычно не задумываются о проблеме других разумов в общении друг с другом. Он пишет, что "вместо непрерывных споров по этому поводу принято соблюдать вежливую условность – считать, что все думают". Тест Тьюринга просто распространяет эту "вежливую условность" на машины. Он не ставит перед собой цели решить проблему других разумов (ни для машин, ни для людей) и не считает, что это необходимо.
Ответы, считающие, что "сознание" Серла не обнаруживается
Если мы примем описание Серла намеренности, сознания и разума, мы вынуждены признать, что сознание является эпифеноменальным: что оно "не отбрасывает тени", то есть не обнаруживается во внешнем мире. "Причинные свойства" Серла не могут быть обнаружены кем-либо вне разума, иначе Китайская комната не смогла бы пройти тест Тьюринга – люди снаружи смогли бы определить отсутствие в комнате человека, говорящего на китайском языке, обнаружив эти причинные свойства. Поскольку они не могут обнаружить причинные свойства, они не могут обнаружить существование ментального. Таким образом, "причинные свойства" Серла и само сознание являются необнаружимыми, а всё, что не может быть обнаружено, либо не существует, либо не имеет значения. Майк Алдер называет это "Ответом пламенным лазерным мечом Ньютона". Он утверждает, что весь аргумент тривиален, поскольку он не является верификационистским: не только разграничение между симуляцией разума и наличием разума плохо определено, но и не имеет значения, так как не было и даже не может быть предложено никаких экспериментов для их различения. Даниэль Деннет приводит следующую иллюстрацию: предположим, что в результате мутации рождается человек, лишённый "причинных свойств" Серла, но при этом ведущий себя точно как обычный человек. (Такое существо называется "зомби" в мысленных экспериментах в философии разума). Это новое существо будет размножаться как любой другой человек, и в конечном итоге зомби станет больше. Естественный отбор будет благоприятствовать зомби, поскольку их конструкция (можно предположить) несколько проще. В конечном итоге люди вымрут. Следовательно, если Серль прав, то, вероятнее всего, люди (какими мы их видим сегодня) на самом деле являются "зомби", которые, тем не менее, настаивают на своей сознательности. Невозможно узнать, все ли мы зомби. Даже если мы все зомби, мы всё равно будем верить, что не являемся ими.
Ответ материалистов
Несколько философов утверждают, что сознание, как его описывает Серл, не существует. Дэниел Деннет описывает сознание как «иллюзию пользователя». Эта позиция иногда называется элиминативным материализмом: точка зрения, согласно которой сознание – это не концепция, которую можно «свести» к строго механическому (то есть материальному) описанию, а скорее концепция, которая будет просто устранена, как только будет полностью понято, как работает материальный мозг, точно так же, как концепция демона уже была исключена из науки, а не сведена к строго механическому описанию. Другие ментальные свойства, такие как оригинальная интенциональность (также называемая «смыслом», «содержанием» и «семантическим характером»), также обычно рассматриваются как особые свойства, связанные с убеждениями и другими пропозициональными установками. Элиминативный материализм утверждает, что пропозициональные установки, такие как убеждения и желания, наряду с другими интенциональными ментальными состояниями, имеющими содержание, не существуют. Если элиминативный материализм является верным научным объяснением человеческого познания, то предположение, лежащее в основе аргумента китайской комнаты, о том, что «разум обладает ментальным содержанием (семантикой)», должно быть отвергнуто. Серл не согласен с этим анализом и утверждает, что «изучение разума начинается с таких фактов, как то, что у людей есть убеждения, в то время как термостаты, телефоны и вычислительные машины их не имеют – именно это мы и хотим понять: что отличает разум от термостатов и печени». Он считает очевидным, что мы можем обнаружить наличие сознания и отвергает эти возражения как не относящиеся к делу.
Другие ответы
Маргарет Боден утверждала в своей статье "Побег из китайской комнаты", что даже если человек в комнате не понимает китайский язык, это не значит, что понимания нет в самой системе. Человек в комнате, по крайней мере, понимает руководство с правилами, используемое для генерации ответов.
В популярной культуре
Китайский аргумент комнаты — центральная концепция в романах Питера Уоттса «Слепота» и (в меньшей степени) «Эхопраксия». Грег Иган лаконично (и весьма жутко) иллюстрирует эту концепцию в своей короткой истории 1990 года «Учиться быть собой», вошедшей в сборник «Аксиоматик». Она является ключевой темой в видеоигре Zero Escape: Virtue's Last Reward и тесно связана с её сюжетом. Подобный человеческий компьютер фигурирует в романе Лю Цысиня «Задача трёх тел», где Филипп Штайнер описывает его следующим образом: «огромный человеческий компьютер, использующий миллионы солдат в качестве элементов ввода и вывода сигналов, которым даются инструкции для выполнения различных логических схем, таких как логические элементы И и ИЛИ».