Уолтер Питтс: Пионер нейронных сетей и вычислительной нейронауки.

Введение

Американский логик и вычислительный нейробиолог

Уолтер Гарри Питтс-младший (23 апреля 1923 года – 14 мая 1969 года) – американский логик, работавший в области вычислительной нейронауки. Он предложил основополагающие теоретические формулировки нейронной активности и генеративных процессов, оказавших влияние на различные области, такие как когнитивные науки и психология, философия, нейронауки, информатика, искусственные нейронные сети, кибернетика и искусственный интеллект, а также на то, что стало известно как генеративные науки. Наиболее известен он как соавтор вместе с Уорреном МакКаллохом основополагающей статьи в истории науки под названием «Логический исчисление идей, присущих нервной деятельности» (1943). В этой статье была предложена первая математическая модель нейронной сети. Элемент этой модели – простой формализованный нейрон – до сих пор является стандартным ориентиром в области нейронных сетей и часто называется нейроном МакКаллоха – Питтса. До публикации этой статьи он формализовал свои идеи относительно фундаментальных шагов создания машины Тьюринга в эссе «Некоторые наблюдения о простой нейронной цепи», опубликованном в «Бюллетене математической биофизики».

Ранние годы

Уолтер Питтс родился в Детройте, штат Мичиган, 23 апреля 1923 года, в семье Уолтера и Мари (урождённой Велсия). Будучи самоучкой, он самостоятельно изучал логику и математику с детства и стал свободно читать на нескольких языках, включая греческий и латинский. Он широко известен тем, что в 12 лет провел три дня в библиотеке, изучая "Principia Mathematica", и отправил письмо Бертрану Расселу, указав на, по его мнению, серьезные недостатки в первой половине первого тома. Рассел оценил это и пригласил его учиться в Кембриджском университете в возрасте 12 лет. От предложения отказались, однако Питтс решил стать логиком. В 15 лет он покинул дом, чтобы продолжить обучение.

Академическая карьера

Питтс, вероятно, продолжал переписываться с Бертраном Расселом, и в возрасте 15 лет он посещал лекции Рассела в Чикагском университете. Он оставался там, не будучи зарегистрированным в качестве студента. Там, в 1938 году, он познакомился с Джеромом Летвином, студентом-медиком, и они стали близкими друзьями. Осенью 1938 года Рассел был приглашенным профессором в Чикагском университете и посоветовал Питтсу заниматься у логика Рудольфа Карнапа. Поскольку Питтс не представился, Карнап потратил месяцы на его поиски, и, когда нашел, предоставил ему низкооплачиваемую работу в университете и добился, чтобы Питтс занимался с ним. В то время Питтс был бездомным и не имел средств к существованию. Он освоил абстрактную логику Карнапа, затем познакомился с работами украинского математического физика Николаса Рашевского, который также работал в Чикаго и был основателем математической биофизики, стремясь перестроить биологию на основе структуры физических наук и математической логики. Питтс также тесно сотрудничал с математиком Алстоном Скоттом Хаусхолдером, который входил в группу Рашевского. Во время учебы у Карнапа Питтс регулярно посещал семинары Николаса Рашевского по теоретической биологии, в которых участвовали Фрэнк Оффнер, Герберт Ландал, Алстон Хаусхолдер и нейроанатом Герхардт фон Бонин из Чикагского университета Иллинойса. В 1940 году фон Бонин познакомил Леттвина с Уорреном МакКаллохом, который впоследствии стал профессором психиатрии в Иллинойсе. В 1941 году Уоррен МакКаллок занял должность профессора психиатрии в Чикагском университете Иллинойса, и в начале 1942 года он пригласил Питтса, все еще остававшегося бездомным, вместе с Леттвином жить в своей семье. Вечерами МакКаллок и Питтс работали вместе. Питтс был знаком с работами Готфрида Лейбница по вычислительной технике, и они обсуждали вопрос о том, можно ли рассматривать нервную систему как своего рода универсальное вычислительное устройство, как это описывал Лейбниц. Это привело к их основополагающей работе по нейронным сетям «Логический исчисление идей, имманентных в нервной деятельности». После пяти лет неофициальных занятий Чикагский университет присудил Питтсу степень бакалавра искусств (единственную полученную им степень) за его работу над этой статьей. В 1943 году Леттвин познакомил Питтса с Норбертом Винером в Массачусетском технологическом институте. Их первая встреча, на которой они обсудили доказательство Винером эргодической теоремы, прошла настолько успешно, что Питтс переехал в район Бостона, чтобы работать с Винером. Хотя Питтс был неофициальным учеником Винера в МТИ до их болезненного разрыва в 1952 году, он официально поступил в аспирантуру на физическом факультете в 1943–1944 учебном году и на факультет электротехники в 1956–1958 годах. В 1944 году Питтс был принят на работу в корпорацию Kellex (позже приобретенную в 1950 году корпорацией Vitro) в Нью-Йорке, в рамках проекта «Атомная энергия». С 1946 года Питтс был активным участником конференций Мейси, основной целью которых было заложить основы общей науки о функционировании человеческого разума.

Pitts probably continued to correspond with Bertrand Russell; and at the age of 15 he attended Russell's lectures at the University of Chicago. He stayed there, without registering as a student. While there, in 1938 he met Jerome Lettvin, a pre medical student, and the two became close friends. Russell was a visiting professor at the University of Chicago in the fall of 1938, and he directed Pitts to study with the logician Rudolf Carnap. Since Pitts did not introduce himself, Carnap spent months searching for him, and, when he found him, he obtained for him a menial job at the university and had Pitts study with him. Pitts at the time was homeless and without income. He mastered Carnap's abstract logic, then met with and was intrigued by the work of the Ukrainian mathematical physicist Nicolas Rashevsky, who was also at Chicago and was the founder of mathematical biophysics, remodeling biology on the structure of the physical sciences and mathematical logic. Pitts also worked closely with the mathematician Alston Scott Householder, who was a member of Rashevsky's group. During his studies under Carnap, Pitts was also a regular attendant at Nicolas Rashevsky’s seminars in theoretical biology, which included Frank Offner, Herbert Landahl, Alston Householder, and the neuroanatomist Gerhardt von Bonin from the University of Illinois at Chicago. In 1940, Von Bonin introduced Lettvin to Warren McCulloch, who would become a professor of psychiatry at Illinois. In 1941 Warren McCulloch took a position as professor of psychiatry at the University of Illinois at Chicago, and in early 1942 he invited Pitts, who was still homeless, together with Lettvin to live with his family. In the evenings, McCulloch and Pitts collaborated. Pitts was familiar with the work of Gottfried Leibniz on computing and they considered the question of whether the nervous system could be considered a kind of universal computing device as described by Leibniz. This led to their seminal neural networks paper "A Logical Calculus of Ideas Immanent in Nervous Activity". After five years of unofficial studies, the University of Chicago awarded Pitts an Associate of Arts (his only earned degree) for his work on the paper. In 1943, Lettvin introduced Pitts to Norbert Wiener at the Massachusetts Institute of Technology. Their first meeting, where they discussed Wiener's proof of the ergodic theorem, went so well that Pitts moved to Greater Boston to work with Wiener. While Pitts was an unofficial student under the aegis of Wiener at MIT until their acrimonious parting in 1952, he formally enrolled as a graduate student in the physics department during the 1943–1944 academic year and in the electrical engineering department from 1956–1958. In 1944, Pitts was hired by Kellex Corporation (later acquired in 1950 by Vitro Corporation) in New York City, part of the Atomic Energy Project. From 1946, Pitts was a core member of the Macy conferences, whose principal purpose was to set the foundations for a general science of the workings of the human mind.

Личная жизнь, эмоциональная травма и упадок

В 1951 году Винер убедил Джерома Виснера нанять нескольких физиологов нервной системы. Была сформирована группа, в которую вошли Питтс, Леттвин, МакКаллок и Пэт Уолл. Питтс написал объемную диссертацию о свойствах нейронных сетей, соединенных в трех измерениях. Леттвин описывал его как "несомненного гения группы – когда вы задавали ему вопрос, он давал в ответ целый учебник". Питтс так и не женился и разорвал отношения со всеми, кто с ним связан, включая самого себя, на протяжении всей своей жизни, все больше и больше отдаляясь от общества. В 1959 году вышла основополагающая работа "Что глаз лягушки сообщает мозгу лягушки" (авторства Умберто Матураны, Леттвина, МакКаллока и Питтса), которая убедительно показала, что "аналоговые процессы в глазу выполняли как минимум часть интерпретационной работы" при обработке изображений, в отличие от "вычисления мозгом информации цифровым нейроном за цифровым нейроном, используя строгий инструмент математической логики". Это привело Питтса к тому, что он сжег свою неопубликованную докторскую диссертацию о вероятностных трехмерных нейронных сетях и многолетние неопубликованные исследования. Он почти потерял интерес к работе, за исключением сотрудничества с Леттвином и Робертом Гестлендом, результатом которого в 1965 году стала публикация статьи об обонянии. Питтс умер в 1969 году от кровотечения из варикозно расширенных вен пищевода – состояния, обычно связанного с циррозом печени и алкоголизмом.

Публикации

Уолтер Питтс, "Некоторые наблюдения о простой нейронной цепи", "Бюллетень математической биологии", том 4, номер 3, 121–129, 1942. Уоррен МакКаллок и Уолтер Питтс, "Логический исчисление идей, присущих нервной деятельности", 1943, "Бюллетень математической биофизики" 5:115–133. Перепечатано в Neurocomputing: Основы исследований. Под редакцией Джеймса А. Андерсона и Эдварда Розенфельда. MIT Press, 1988. Стр. 15–27.
Уоррен МакКаллок и Уолтер Питтс, "О том, как мы познаём универсалии: восприятие слуховых и зрительных форм", 1947, "Бюллетень математической биофизики" 9:127–147. Р. Хоуланд, Джером Леттвин, Уоррен МакКаллок, Уолтер Питтс и П. Д. Уолл, "Рефлекторное ингибирование при взаимодействии спинномозговых корешков", 1955, "Журнал нейрофизиологии" 18:1–17. П. Д. Уолл, Уоррен МакКаллок, Джером Леттвин и Уолтер Питтс, "Влияние стрихнина, особенно в отношении спинномозговых афферентных волокон", 1955, "Epilepsia" Серия 3, 4:29–40. Джером Леттвин, Умберто Матурана, Уоррен МакКаллок и Уолтер Питтс, "Что глаз лягушки сообщает мозгу лягушки", 1959, "Труды Института радиоинженеров" 47: 1940–1951. Умберто Матурана, Джером Леттвин, Уоррен МакКаллок и Уолтер Питтс, "Анатомия и физиология зрения у лягушки", 1960, "Журнал общей физиологии", 43:129–175. Роберт Гестланд, Джером Леттвин и Уолтер Питтс, "Химическая передача в носу лягушки", 1965, "J. Physiol." 181, 525–529.