Фрэнк Розенблатт: Пионер искусственных нейронных сетей

Введение

Фрэнк Розенблатт (11 июля 1928 – 11 июля 1971) – американский психолог, получивший известность в области искусственного интеллекта. Его часто называют отцом глубокого обучения за его новаторские работы в области искусственных нейронных сетей.

Жизнь и карьера

Розенблатт родился в еврейской семье в Нью-Рошелле, штат Нью-Йорк, как сын доктора Фрэнка и Кэтрин Розенблатт. После окончания Бронксской средней школы наук в 1946 году он поступил в Корнеллский университет, где получил степень бакалавра в 1950 году и степень доктора философии в 1956 году. Затем он перешел в Корнеллскую аэронавтическую лабораторию в Буффало, штат Нью-Йорк, где последовательно работал исследовательским психологом, старшим психологом и руководителем отдела когнитивных систем. Именно там он провел ранние работы над перцептронами, которые завершились разработкой и аппаратной реализацией Mark I Perceptron в 1960 году. Когда треугольник подносили к "глазу" перцептрона, он распознавал изображение и передавал его по случайной последовательности линий в ответные блоки, где изображение регистрировалось. Он развивал и расширял этот подход в многочисленных статьях и книге под названием «Принципы нейродинамики: перцептроны и теория механизмов мозга», опубликованной издательством Spartan Books в 1962 году. Он получил международное признание за Перцептрон. Газета The New York Times назвала это революцией, опубликовав заголовок «Новое устройство ВМФ учится на практике», а The New Yorker также высоко оценил технологический прогресс, описанный в оригинальной книге Розенблатта. Розенблатт доказал четыре основные теоремы. Первая теорема утверждает, что элементарные перцептроны могут решить любую задачу классификации, если в обучающем наборе нет противоречий (и достаточное количество независимых элементов А). Четвертая теорема утверждает о сходимости алгоритма обучения, если данная реализация элементарного перцептрона способна решить задачу. Исследования аналогичных устройств также велись в других местах, таких как SRI, и многие исследователи возлагали большие надежды на их возможности. Однако первоначальный энтузиазм несколько угас, когда в 1969 году Марвин Мински и Сеймур Паперт опубликовали книгу «Перцептроны». Мински и Паперт рассматривали элементарные перцептроны с ограничениями на нейронные входы: ограниченное количество соединений или относительно небольшой диаметр рецептивных полей А-единиц. Они доказали, что при этих ограничениях элементарный перцептрон не может решить некоторые задачи, такие как связность входных изображений или четность пикселей в них. Таким образом, Розенблатт доказал всемогущество неограниченных элементарных перцептронов, в то время как Мински и Паперт продемонстрировали, что возможности перцептронов с ограничениями ограничены. Эти результаты не противоречат друг другу, но книга Мински и Паперта была широко (и ошибочно) цитирована как доказательство серьезных ограничений перцептронов. (Для подробного обсуждения первой теоремы Розенблатта и ее связи с работой Мински и Паперта мы отсылаем к недавней заметке). Розенблатт посвятил последние несколько лет своей жизни этой проблеме и убедительно показал, что первоначальные сообщения о более значительных эффектах были неверны и что любая передача памяти была, в лучшем случае, очень незначительной. Он построил обсерваторию на вершине холма за своим домом в Бруктондейле, примерно в 6 милях к востоку от Итаки. После завершения строительства обсерватории Розенблатт начал интенсивное изучение SETI (Поиск внеземного разума).

Rosenblatt was born into a Jewish family in New Rochelle, New York as the son of Dr. Frank and Katherine Rosenblatt. After graduating from The Bronx High School of Science in 1946, he attended Cornell University, where he obtained his A. B. in 1950 and his Ph. D. in 1956. He then went to Cornell Aeronautical Laboratory in Buffalo, New York, where he was successively a research psychologist, senior psychologist, and head of the cognitive systems section. This is also where he conducted the early work on perceptrons, which culminated in the development and hardware construction of the Mark I Perceptron in 1960. When a triangle was held before the perceptron's eye, it would pick up the image and convey it along a random succession of lines to the response units, where the image was registered. He developed and extended this approach in numerous papers and a book called Principles of Neurodynamics: Perceptrons and the Theory of Brain Mechanisms, published by Spartan Books in 1962. He received international recognition for the Perceptron. The New York Times billed it as a revolution, with the headline "New Navy Device Learns By Doing", and The New Yorker similarly admired the technological advancement. from the original Rosenblatt's book.]] Rosenblatt proved four main theorems. The first theorem states that elementary perceptrons can solve any classification problem if there are no discrepancies in the training set (and sufficiently many independent A elements). The fourth theorem states convergence of learning algorithm if this realisation of elementary perceptron can solve the problem. Research on comparable devices was also being done in other places such as SRI, and many researchers had big expectations on what they could do. The initial excitement became somewhat reduced, though, when in 1969 Marvin Minsky and Seymour Papert published the book "Perceptrons". Minsky and Papert considered elementary perceptrons with restrictions on the neural inputs: a bounded number of connections or a relatively small diameter of A units receptive fields. They proved that under these constraints, an elementary perceptron cannot solve some problems, such as the connectivity of input images or the parity of pixels in them. Thus, Rosenblatt proved omnipotence of the unrestricted elementary perceptrons, whereas Minsky and Papert demonstrated that abilities of perceptrons with restrictions are limited. These results are not in contradictions but the Minsky and Papert book was widely (and wrongly) cited as the proof of strong limitations of perceptrons. (For detailed elementary discussion of the first Rosenblatt's theorem and its relation to Minsky and Papert work we refer to a recent note. Rosenblatt spent his last several years on this problem and showed convincingly that the initial reports of larger effects were wrong and that any memory transfer was at most very small. He built an observatory on a hilltop behind his house in Brooktondale about 6 miles east of Ithaca. When construction on the observatory was completed, Rosenblatt began an intensive study on SETI (Search for Extraterrestrial Intelligence).

Премия IEEE Фрэнка Розенблатта

Институт инженеров электротехники и электроники (IEEE), крупнейшая в мире профессиональная организация, посвященная развитию технологических инноваций и достижению совершенства во благо человечества, ежегодно присуждает премию IEEE Frank Rosenblatt.