Введение
Техника машинного обучения, полезная для снижения размерности.
Самоорганизующаяся карта (SOM) или самоорганизующаяся карта признаков (SOFM) — это метод машинного обучения без учителя, используемый для создания низкоразмерного (обычно двумерного) представления многомерного набора данных с сохранением топологической структуры данных. Например, набор данных с переменными, измеренными в наблюдениях, может быть представлен в виде кластеров наблюдений со схожими значениями переменных. Эти кластеры затем можно визуализировать как двумерную «карту», так что наблюдения в близлежащих кластерах имеют более похожие значения, чем наблюдения в удаленных кластерах. Это может упростить визуализацию и анализ многомерных данных. SOM является типом искусственной нейронной сети, но обучается с использованием конкурентного обучения, а не обучения с коррекцией ошибок (например, обратного распространения ошибки с градиентным спуском), применяемого в других искусственных нейронных сетях. SOM был предложен финским профессором Теуво Кохоненом в 1980-х годах и поэтому иногда называется картой Кохонена или сетью Кохонена. Карта Кохонена или сеть представляет собой вычислительно удобную абстракцию, основанную на биологических моделях нейронных систем 1970-х годов и моделях морфогенеза, восходящих к работам Алана Тьюринга 1950-х годов. SOM создают внутренние представления, напоминающие кортикальный гомункулус — искаженное представление человеческого тела, основанное на неврологической «карте» областей и пропорций человеческого мозга, предназначенных для обработки сенсорных функций различных частей тела.
Обзор
Самоорганизующиеся карты, как и большинство искусственных нейронных сетей, работают в двух режимах: обучение и применение. Сначала, на этапе обучения, набор входных данных ("пространство входа") используется для создания низкоразмерного представления входных данных ("пространство карты"). Затем, на этапе применения, карта классифицирует новые входные данные, используя сформированное представление. В большинстве случаев, цель обучения – представить входное пространство с p измерениями в виде пространства карты с двумя измерениями. В частности, входное пространство с p переменными характеризуется p измерениями. Пространство карты состоит из компонентов, называемых "узлами" или "нейронами", расположенных в виде гексагональной или прямоугольной сетки с двумя измерениями. Количество узлов и их расположение задаются заранее, исходя из общих целей анализа и исследования данных. Каждый узел в пространстве карты связан с "вектором весов", который определяет его положение в пространстве входа. Сами узлы в пространстве карты остаются неподвижными, а обучение заключается в перемещении векторов весов в сторону входных данных (уменьшении метрики расстояния, например, евклидова расстояния) без нарушения топологии, обусловленной пространством карты. После обучения карту можно использовать для классификации новых наблюдений из входного пространства, находя узел с ближайшим вектором весов (минимальным значением метрики расстояния) к вектору входных данных.
Интерпретация
Есть два способа интерпретировать SOM. Поскольку на фазе обучения веса всего соседства смещаются в одном направлении, схожие элементы, как правило, активируют соседние нейроны. Таким образом, SOM формирует семантическую карту, где подобные образцы отображаются близко друг к другу, а непохожие – на расстоянии. Это можно визуализировать с помощью U-матрицы (евклидово расстояние между векторами весов соседних ячеек) SOM. Другой подход заключается в том, чтобы рассматривать нейронные веса как указатели на входное пространство. Они формируют дискретную аппроксимацию распределения обучающих выборок. Больше нейронов указывают на области с высокой концентрацией обучающих выборок и меньше – там, где выборок мало. SOM можно рассматривать как нелинейное обобщение метода главных компонент (PCA). Было показано, используя как искусственные, так и реальные геофизические данные, что SOM имеет множество преимуществ по сравнению с традиционными методами извлечения признаков, такими как эмпирические ортогональные функции (EOF) или PCA. Изначально SOM не был сформулирован как решение задачи оптимизации. Тем не менее, было предпринято несколько попыток модифицировать определение SOM и сформулировать задачу оптимизации, дающую схожие результаты. Например, эластичные карты используют механическую метафору упругости для аппроксимации главных многообразий: аналогия – эластичная мембрана и пластина.
Альтернативные подходы
Генеративная топографическая карта (GTM) является потенциальной альтернативой SOM. В том смысле, что GTM явно требует гладкого и непрерывного отображения из входного пространства в пространство карты, она обеспечивает сохранение топологии. Однако, на практике, эта мера топологического сохранения недостаточна. Растущая самоорганизующаяся карта (GSOM) – это развивающийся вариант самоорганизующейся карты. GSOM был разработан для решения проблемы определения подходящего размера карты в SOM. Она начинается с минимального количества узлов (обычно четырех) и наращивает новые узлы на границе на основе эвристики. Используя значение, называемое коэффициентом распространения, аналитик данных может контролировать рост GSOM. Подход конформного отображения использует конформное преобразование для интерполяции каждого обучающего примера между узлами сетки на непрерывной поверхности. В этом подходе возможно гладкое взаимно однозначное отображение. Сеть адаптивных самоорганизующихся карт (TASOM) является расширением базовой SOM. TASOM использует адаптивные скорости обучения и функции окрестности. Она также включает в себя параметр масштабирования, чтобы сделать сеть инвариантной к масштабированию, сдвигу и вращению входного пространства. TASOM и ее варианты использовались в различных приложениях, включая адаптивное кластерирование, многоуровневую пороговую обработку, аппроксимацию входного пространства и моделирование активных контуров. Кроме того, было предложено двоичное дерево TASOM или BTASOM, напоминающее двоичное естественное дерево, узлы которого состоят из сетей TASOM, где количество его уровней и количество его узлов адаптируются к окружающей среде. Подход эластичной карты заимствует из сплайновой интерполяции идею минимизации упругой энергии. В процессе обучения она минимизирует сумму квадратичной энергии изгиба и растяжения с наименьшей ошибкой аппроксимации в смысле наименьших квадратов. Ориентированная и масштабируемая карта (OS Map) обобщает функцию окрестности и выбор победителя. Гомогенная гауссовская функция окрестности заменяется матричной экспонентой. Таким образом, можно задать ориентацию либо в пространстве карты, либо в пространстве данных. SOM имеет фиксированный масштаб (=1), поэтому карты "оптимально описывают область наблюдения". Но что, если карта покрывает область дважды или в n раз? Это подразумевает концепцию масштабирования. OS Map рассматривает масштаб как статистическое описание количества наилучших соответствующих узлов, которые вход имеет на карте.