Введение

Теория адаптивного резонанса (АРТ) – это теория, разработанная Стивеном Гроссбергом и Гейл Карпентер, касающаяся аспектов обработки информации мозгом. Она описывает ряд моделей искусственных нейронных сетей, использующих методы обучения с учителем и без учителя, и решающих такие задачи, как распознавание образов и прогнозирование. Основная идея модели АРТ заключается в том, что идентификация и распознавание объектов обычно происходят в результате взаимодействия ожиданий наблюдателя, идущих "сверху вниз", с сенсорной информацией, поступающей "снизу вверх". Модель постулирует, что ожидания, идущие "сверху вниз", принимают форму шаблона памяти или прототипа, который затем сравнивается с фактическими признаками объекта, обнаруженными органами чувств. Это сравнение приводит к оценке степени принадлежности к категории. До тех пор, пока разница между восприятием и ожиданием не превышает установленный порог, называемый "параметром бдительности", воспринятый объект будет считаться элементом ожидаемого класса. Таким образом, система предлагает решение проблемы "пластичности/стабильности", то есть проблемы приобретения новых знаний без нарушения уже существующих, также называемого инкрементным обучением.

Обучение

Существует два основных метода обучения нейронных сетей на основе АРТ: медленный и быстрый. В методе медленного обучения степень изменения весов нейрона распознавания в отношении входного вектора рассчитывается с использованием дифференциальных уравнений и выражается непрерывными значениями, таким образом, она зависит от длительности предъявления входного вектора. При быстром обучении для расчета величины корректировки весов используются алгебраические уравнения и применяются бинарные значения. Хотя быстрое обучение эффективно и результативно для широкого спектра задач, медленное обучение более соответствует биологическим принципам и может применяться в сетях непрерывного времени (то есть, когда входной вектор может изменяться непрерывно).

Типы

ART 1 – это самый простой вид сетей ART, принимающий только двоичные входные данные. ART 2 расширяет возможности сети для поддержки непрерывных входных данных. ART 2A – это упрощенная форма ART 2 с резко ускоренным временем работы, при этом качественные результаты лишь изредка уступают полной реализации ART 2. ART 3 основывается на ART 2, моделируя элементарную нейротрансмиттерную регуляцию синаптической активности путем включения в уравнения системы имитированных концентраций ионов натрия (Na+) и кальция (Ca2+), что обеспечивает более физиологически реалистичный способ частичного подавления категорий, вызывающих сброс при несовпадении. ARTMAP, также известный как Predictive ART, объединяет два слегка модифицированных модуля ART 1 или ART 2 в структуру обучения с учителем, где первый модуль принимает входные данные, а второй – правильные выходные данные, которые затем используются для минимальной корректировки параметра бдительности в первом модуле для обеспечения правильной классификации. Fuzzy ART реализует нечеткую логику в распознавании образов ART, тем самым повышая обобщающую способность. Опциональной (и весьма полезной) функцией Fuzzy ART является комплементарное кодирование – способ включения отсутствия признаков в классификацию образов, что значительно снижает вероятность неэффективного и ненужного размножения категорий. Применяемые меры сходства основаны на L1-норме. Fuzzy ART известно своей высокой чувствительностью к шуму. Fuzzy ARTMAP – это, по сути, ARTMAP, использующий модули Fuzzy ART, что приводит к соответствующему увеличению эффективности. Упрощенный Fuzzy ARTMAP (SFAM) представляет собой сильно упрощенный вариант Fuzzy ARTMAP, предназначенный для задач классификации. Gaussian ART и Gaussian ARTMAP расширяют ART и ARTMAP до нескольких каналов образов. Они поддерживают различные парадигмы обучения, включая обучение без учителя, обучение с учителем и обучение с подкреплением. TopoART сочетает Fuzzy ART с топологическими сетями обучения, такими как растущий нейронный газ. Кроме того, он добавляет механизм подавления шума. Существует несколько производных нейронных сетей, расширяющих TopoART для дальнейших парадигм обучения. Hypersphere ART и Hypersphere ARTMAP. Латерально активированная адаптивная резонансная теория (LAPART) объединяет два алгоритма Fuzzy ART для создания механизма прогнозирования на основе изученных ассоциаций. Соединение двух Fuzzy ART обладает уникальной стабильностью, позволяющей системе быстро сходиться к четкому решению. Кроме того, она может выполнять логический вывод и обучение с учителем, аналогично Fuzzy ARTMAP.

Критика

Было отмечено, что результаты работы Fuzzy ART и ART 1 (то есть, выученные категории) критически зависят от порядка, в котором обрабатываются данные обучения. Этот эффект можно в некоторой степени уменьшить, используя более низкую скорость обучения, но он сохраняется независимо от размера входного набора данных. Следовательно, оценки, полученные с помощью Fuzzy ART и ART 1, не обладают статистическим свойством согласованности. Эту проблему можно рассматривать как побочный эффект механизмов, обеспечивающих стабильное обучение в обеих сетях. Более продвинутые сети ART, такие как TopoART и Hypersphere TopoART, которые обобщают категории в кластеры, могут решить эту проблему, поскольку формы кластеров не зависят от порядка создания соответствующих категорий. (см. рис. 3 (g, h) и рис. 4 из)