Коннекционизм: от истоков до глубокого обучения.

Введение

Когнитивный научный подход

Коннективизм (введённый в обиход Эдвардом Торндайком в 1930-х годах) – это подход к изучению психических процессов человека и познания, использующий математические модели, известные как коннективистские сети или искусственные нейронные сети. С момента своего возникновения коннективизм пережил несколько «волн». Первая волна появилась в 1943 году с работами Уоррена Стерджиса Маккаллоха и Уолтера Питтса, сосредоточенных на понимании нейронных схем посредством формального и математического подхода, а также с публикацией Фрэнком Розенблатом в 1958 году книги «Перцептрон: вероятностная модель хранения и организации информации в мозге» в журнале Psychological Review, когда он работал в Аэронавтической лаборатории Корнелла. Первая волна завершилась выходом в 1969 году книги Марвина Мински и Паперта, описывающей ограничения первоначальной идеи перцептрона, что привело к снижению финансирования коннективистских исследований крупными агентствами в США. С некоторыми заметными исключениями, большинство коннективистских исследований зашли в период застоя до середины 1980-х годов. Термин «коннективистская модель» был вновь введён в начале 1980-х годов в статье по когнитивной науке Джеромом Фельдманом и Даной Баллард. Вторая волна расцвела в конце 1980-х годов после публикации в 1987 году книги «Параллельная распределённая обработка» Джеймса Л. Макклелланда, Дэвида Э. Румелхарта и др., которая внесла несколько улучшений в простую идею перцептрона, таких как промежуточные процессоры (ныне известные как «скрытые слои») наряду с входными и выходными блоками, а также использование сигмоидной функции активации вместо старой функции «всё или ничего». Их работа, в свою очередь, опиралась на работы Джона Хопфилда, ключевой фигуры, исследовавшей математические характеристики сигмоидных функций активации. Теренс Хорган и Тиенсон задались вопросом, представляет ли коннективизм фундаментальный сдвиг в психологии и GOFAI. К недостаткам подхода второй волны относились трудности в понимании того, как АНН обрабатывают информацию и учитывают композиционность ментальных представлений, что затрудняло объяснение явлений на более высоком уровне. Современная (третья) волна характеризуется достижениями в области глубокого обучения, позволившими создать большие языковые модели.

Connectionism (coined by Edward Thorndike in the 1930s) is the name of an approach to the study of human mental processes and cognition that utilizes mathematical models known as connectionist networks or artificial neural networks. Connectionism has had many 'waves' since its beginnings. The first wave appeared 1943 with Warren Sturgis McCulloch and Walter Pitts both focusing on comprehending neural circuitry through a formal and mathematical approach, and Frank Rosenblatt who published the 1958 book “The Perceptron: A Probabilistic Model For Information Storage and Organization in the Brain” in Psychological Review, while working at the Cornell Aeronautical Laboratory. The first wave ended with the 1969 book about the limitations of the original perceptron idea, written by Marvin Minsky and Papert, which contributed to discouraging major funding agencies in the US from investing in connectionist research. With a few noteworthy deviations, the majority of connectionist research entered a period of inactivity until the mid 1980s. The term connectionist model was reintroduced in the early 1980s in a Cognitive Science paper by Jerome Feldman and Dana Ballard. The second wave blossomed in the late 1980s, following the 1987 book about Parallel Distributed Processing by James L. McClelland, David E. Rumelhart et al., which introduced a couple of improvements to the simple perceptron idea, such as intermediate processors (known as "hidden layers" now) alongside input and output units and used sigmoid activation function instead of the old 'all or nothing' function. Their work has, in turn, built upon that of John Hopfield, who was a key figure investigating the mathematical characteristics of sigmoid activation functions. Terence Horgan and Tienson posed the question of whether connectionism represented a fundamental shift in psychology and GOFAI. Some disadvantages of the second wave connectionist approach included the difficulty in deciphering how ANNs process information, or account for the compositionality of mental representations, and a resultant difficulty explaining phenomena at a higher level. The current (third) wave has been marked by advances in Deep Learning allowing for Large language models.

Биологический реализм

Работа в области коннекционизма в целом не требует биологической реалистичности. Одна из областей, где коннекционистские модели считаются биологически несостоятельными, связана с сетями обратного распространения ошибки, необходимыми для обучения, однако обратное распространение ошибки может объяснить некоторые биологически генерируемые электрические активности, регистрируемые на коже головы в связанных с событиями потенциалах, таких как N400 и P600, что предоставляет некоторую биологическую поддержку одному из ключевых предположений коннекционистских процедур обучения. Многие рекуррентные коннекционистские модели также включают теорию динамических систем. Многие исследователи, такие как коннекционист Пол Смоленский, утверждают, что коннекционистские модели будут развиваться в сторону полностью непрерывных, многомерных, нелинейных динамических систем.

Прекурсоры

Предшественники принципов коннекционизма можно проследить в ранних работах по психологии, таких как работы Уильяма Джеймса. Психологические теории, основанные на знаниях о человеческом мозге, были популярны в конце XIX века. Уже в 1869 году невролог Джон Хьюглингс Джексон утверждал о существовании многоуровневых, распределенных систем. Развивая эту идею, «Принципы психологии» Герберта Спенсера, 3-е издание (1872), и «Проект научной психологии» Зигмунда Фрейда (написанный в 1895 году) выдвигали коннекционистские или прото-коннекционистские теории. Эти теории носили преимущественно спекулятивный характер. Однако к началу XX века Эдвард Торндайк проводил эксперименты по обучению, которые постулировали сеть, подобную коннекционистской. Сети Хопфилда имели предшественников в модели Изинга, разработанной Вильгельмом Ленцем (1920) и Эрнстом Изингом (1925), хотя модель Изинга, предложенная ими, не учитывала временной фактор. Для моделирования методом Монте-Карло модели Изинга потребовалось появление компьютеров в 1950-х годах.

Первая волна

Первая волна началась в 1943 году с Уоррена Стерджиса Маккалока и Уолтера Питтса, которые сосредоточились на понимании нейронных цепей с помощью формального и математического подхода, а затем в 1952 году это было расширено в книгу. Машины перцептрона были предложены и построены Фрэнком Розенблатом, который опубликовал в 1958 году статью «Перцептрон: вероятностная модель хранения и организации информации в мозге» в журнале Psychological Review, работая в Корнелльской аэронавтической лаборатории. Он назвал Хебба, Хайека, Уттли и Эшби основными источниками влияния. Другой формой коннекционистской модели была структура реляционных сетей, разработанная лингвистом Сидни Лэмбом в 1960-х годах. Исследовательская группа под руководством Видроу эмпирически искала методы обучения двухслойных сетей ADALINE, но добилась лишь ограниченного успеха. Метод обучения многослойных перцептронов с произвольным количеством обучаемых весов был опубликован Алексеем Григорьевичем Ивахненко и Валентином Лапой в 1965 году и получил название Групповой метод обработки данных. Этот метод использует инкрементное послойное обучение на основе регрессионного анализа, при котором бесполезные нейроны в скрытых слоях удаляются с помощью валидационного набора данных. В 1972 году Шуничи Амари сделал эту архитектуру адаптивной. Работа Шуничи Амари была опубликована в 1967 году. Как они и должны быть способны, если они объясняют человеческую способность выполнять задачи манипулирования символами. Было предложено несколько когнитивных моделей, сочетающих в себе как символическое манипулирование, так и коннекционистские архитектуры. Среди них — Интегрированная коннекционистская/символическая когнитивная архитектура (ICS) Пола Смоленского и CLARION (когнитивная архитектура) Рона Суна. Однако спор сводится к тому, является ли манипулирование символами основой познания в целом, поэтому это не является потенциальным оправданием вычислительного подхода. Тем не менее, вычислительные описания могут быть полезными высокоуровневыми описаниями познания, например, логики. Дебаты в основном касались логических аргументов о том, могут ли коннекционистские сети воспроизводить синтаксическую структуру, наблюдаемую в этом типе рассуждений. Это было достигнуто позднее, хотя и с использованием быстрых возможностей связывания переменных, отличных от тех, которые обычно предполагаются в коннекционистских моделях. Часть привлекательности вычислительных описаний заключается в том, что они относительно легко интерпретируются и, следовательно, могут рассматриваться как способствующие нашему пониманию конкретных психических процессов, в то время как коннекционистские модели в целом более непрозрачны, поскольку их можно описать только в очень общих терминах (например, указание алгоритма обучения, количество нейронов и т. д.) или в неинформативных низкоуровневых терминах. В этом смысле коннекционистские модели могут воплощать и, таким образом, предоставлять доказательства широкой теории познания (т. е. коннекционизма), не представляя собой полезной теории конкретного моделируемого процесса. В этом смысле дискуссию можно рассматривать как отражение, в некоторой степени, простого различия в уровне анализа, на котором сформулированы конкретные теории. Некоторые исследователи предполагают, что разрыв в анализе является следствием того, что коннекционистские механизмы порождают эмерджентные явления, которые могут быть описаны в вычислительных терминах. В 2000-х годах популярность динамических систем в философии сознания добавила новую перспективу в дискуссию; некоторые авторы теперь утверждают, что любое разделение между коннекционизмом и вычислительным подходом более убедительно характеризуется как разделение между вычислительным подходом и динамическими системами. В 2014 году Алекс Грейвс и другие сотрудники DeepMind опубликовали серию статей, описывающих новую структуру глубокой нейронной сети под названием Нейронная машина Тьюринга, способную читать символы на ленте и хранить символы в памяти. Реляционные сети, еще один модуль Deep Network, опубликованный DeepMind, способны создавать объектно-подобные представления и манипулировать ими для ответа на сложные вопросы. Реляционные сети и Нейронные машины Тьюринга являются дополнительным доказательством того, что коннекционизм и вычислительный подход не обязательно должны противоречить друг другу.

The first wave begun in 1943 with Warren Sturgis McCulloch and Walter Pitts both focusing on comprehending neural circuitry through a formal and mathematical approach. then expanded into a book in 1952. The Perceptron machines were proposed and built by Frank Rosenblatt, who published the 1958 paper “The Perceptron: A Probabilistic Model For Information Storage and Organization in the Brain” in Psychological Review, while working at the Cornell Aeronautical Laboratory. He cited Hebb, Hayek, Uttley, and Ashby as main influences. Another form of connectionist model was the relational network framework developed by the linguist Sydney Lamb in the 1960s. The research group led by Widrow empirically searched for methods to train two layered ADALINE networks, with limited success. A method to train multilayered perceptrons with arbitrary levels of trainable weights was published by Alexey Grigorevich Ivakhnenko and Valentin Lapa in 1965, called the Group Method of Data Handling. This method employs incremental layer by layer training based on regression analysis, where useless units in hidden layers are pruned with the help of a validation set. In 1972, Shun'ichi Amari made this architecture adaptive. was published in 1967 by Shun'ichi Amari. as indeed they must be able if they are to explain the human ability to perform symbol manipulation tasks. Several cognitive models combining both symbol manipulative and connectionist architectures have been proposed. Among them are Paul Smolensky's Integrated Connectionist/Symbolic Cognitive Architecture (ICS). and Ron Sun's CLARION (cognitive architecture). But the debate rests on whether this symbol manipulation forms the foundation of cognition in general, so this is not a potential vindication of computationalism. Nonetheless, computational descriptions may be helpful high level descriptions of cognition of logic, for example. The debate was largely centred on logical arguments about whether connectionist networks could produce the syntactic structure observed in this sort of reasoning. This was later achieved although using fast variable binding abilities outside of those standardly assumed in connectionist models. Part of the appeal of computational descriptions is that they are relatively easy to interpret, and thus may be seen as contributing to our understanding of particular mental processes, whereas connectionist models are in general more opaque, to the extent that they may be describable only in very general terms (such as specifying the learning algorithm, the number of units, etc. ), or in unhelpfully low level terms. In this sense, connectionist models may instantiate, and thereby provide evidence for, a broad theory of cognition (i. e., connectionism), without representing a helpful theory of the particular process that is being modelled. In this sense, the debate might be considered as to some extent reflecting a mere difference in the level of analysis in which particular theories are framed. Some researchers suggest that the analysis gap is the consequence of connectionist mechanisms giving rise to emergent phenomena that may be describable in computational terms. In the 2000s, the popularity of dynamical systems in philosophy of mind have added a new perspective on the debate; some authors now argue that any split between connectionism and computationalism is more conclusively characterized as a split between computationalism and dynamical systems. In 2014, Alex Graves and others from DeepMind published a series of papers describing a novel Deep Neural Network structure called the Neural Turing Machine able to read symbols on a tape and store symbols in memory. Relational Networks, another Deep Network module published by DeepMind, are able to create object like representations and manipulate them to answer complex questions. Relational Networks and Neural Turing Machines are further evidence that connectionism and computationalism need not be at odds.

Дебаты о символизме и коннексионизме

Субсимволическая парадигма Смоленского должна ответить на вызов Фодора и Пылышина, сформулированный классической теорией символов, для создания убедительной теории познания в современном коннексионизме. Чтобы стать адекватной альтернативной теорией познания, субсимволическая парадигма Смоленского должна объяснить существование систематичности или систематических отношений в когнитивных процессах, связанных с языком, без предположения о том, что когнитивные процессы причинно-следственно зависят от классической конституентной структуры ментальных представлений. Таким образом, субсимволическая парадигма, или коннексионизм в целом, должна объяснить существование систематичности и композиционности, не опираясь на простую реализацию классической когнитивной архитектуры. Этот вызов подразумевает дилемму: если субсимволическая парадигма не вносит никакого вклада в систематичность и композиционность ментальных представлений, она будет недостаточной в качестве основы для альтернативной теории познания. Однако, если вклад субсимволической парадигмы в систематичность требует когнитивных процессов, основанных на классической конституентной структуре ментальных представлений, то разработанная ею теория познания будет, в лучшем случае, архитектурой реализации классической модели теории символов и, следовательно, не являться подлинной альтернативной (коннективистской) теорией познания. Классическая модель символизма характеризуется (1) комбинаторным синтаксисом и семантикой ментальных представлений и (2) ментальными операциями как процессами, чувствительными к структуре, основанными на фундаментальном принципе синтаксической и семантической конституентной структуры ментальных представлений, используемом в "Языке мысли" (LOT) Фодора. Это позволяет объяснить следующие тесно связанные свойства человеческого познания, а именно его (1) продуктивность, (2) систематичность, (3) композиционность и (4) инференциальную согласованность. В современном коннексионизме этот вызов был принят, например, не только в "Интегрированной коннексионистской/символической (ICS) когнитивной архитектуре" Смоленского, но и в "Осцилляторных сетях" Вернинга и Майя. Обзор этого представлен, например, в работах Bechtel & Abrahamsen, Marcus и Maurer.

Smolensky's Subsymbolic Paradigm has to meet the Fodor Pylyshyn challenge formulated by classical symbol theory for a convincing theory of cognition in modern connectionism. In order to be an adequate alternative theory of cognition, Smolensky's Subsymbolic Paradigm would have to explain the existence of systematicity or systematic relations in language cognition without the assumption that cognitive processes are causally sensitive to the classical constituent structure of mental representations. The subsymbolic paradigm, or connectionism in general, would thus have to explain the existence of systematicity and compositionality without relying on the mere implementation of a classical cognitive architecture. This challenge implies a dilemma: If the Subsymbolic Paradigm could contribute nothing to the systematicity and compositionality of mental representations, it would be insufficient as a basis for an alternative theory of cognition. However, if the Subsymbolic Paradigm's contribution to systematicity requires mental processes grounded in the classical constituent structure of mental representations, the theory of cognition it develops would be, at best, an implementation architecture of the classical model of symbol theory and thus not a genuine alternative (connectionist) theory of cognition. The classical model of symbolism is characterized by (1) a combinatorial syntax and semantics of mental representations and (2) mental operations as structure sensitive processes, based on the fundamental principle of syntactic and semantic constituent structure of mental representations as used in Fodor's "Language of Thought (LOT)". This can be used to explain the following closely related properties of human cognition, namely its (1) productivity, (2) systematicity, (3) compositionality, and (4) inferential coherence. This challenge has been met in modern connectionism, for example, not only by Smolensky's "Integrated Connectionist/Symbolic (ICS) Cognitive Architecture", but also by Werning and Maye's "Oscillatory Networks". An overview of this is given for example by Bechtel & Abrahamsen, Marcus and Maurer.