Введение

Генеративная топографическая карта (GTM) — это метод машинного обучения, являющийся вероятностным аналогом самоорганизующейся карты (SOM), вероятно сходящимся и не требующим уменьшающегося радиуса окрестности или уменьшающегося размера шага. Это генеративная модель: предполагается, что данные формируются путем вероятностного выбора точки в пространстве низких размерностей, отображения этой точки в наблюдаемое пространство входных данных высокой размерности (с помощью гладкой функции) и последующего добавления шума в этом пространстве. Параметры распределения вероятностей в пространстве низких размерностей, гладкое отображение и шум — все это изучается на основе обучающих данных с использованием алгоритма максимизации ожиданий (EM). GTM была представлена в 1996 году в статье Кристофера Бишопа, Маркуса Свенсена и Кристофера К. И. Уильямса.

Подробности алгоритма

Подход тесно связан с сетями плотности, использующими важностную выборку и многослойный перцептрон для построения нелинейной модели скрытых переменных. В GTM латентное пространство представляет собой дискретную сетку точек, которая, как предполагается, нелинейно проецируется в пространство данных. Затем делается предположение о гауссовском шуме в пространстве данных, в результате чего модель становится ограниченной смесью гауссиан. Вероятность модели затем может быть максимизирована методом EM. В теории можно использовать любую нелинейную параметрическую деформацию. Оптимальные параметры можно найти, например, методом градиентного спуска. Предлагаемый подход к нелинейному отображению заключается в использовании радиальной базисной функции (RBF) сети для создания нелинейного отображения между латентным и пространством данных. Узлы RBF сети формируют пространство признаков, и нелинейное отображение можно рассматривать как линейное преобразование этого пространства признаков. Этот подход имеет преимущество перед подходом, основанным на сетях плотности, в том, что его можно оптимизировать аналитически.

Применение

В анализе данных ГТМ представляют собой нелинейную версию анализа главных компонент, позволяющую моделировать многомерные данные как результат добавления гауссовского шума к источникам в латентном пространстве меньшей размерности. Например, для определения местоположения акций в графическом 2D пространстве на основе формы их временных рядов hi D. Другие приложения могут требовать меньшего числа источников, чем точек данных, например, в моделях смесей. В генеративном деформационном моделировании латентное и пространство данных имеют одинаковую размерность, например, 2D изображения или 1 звуковая волна. К источнику добавляются дополнительные "пустые" измерения (известные как "шаблон" в данной форме моделирования), например, для определения местоположения 1D звуковой волны в 2D пространстве. Затем добавляются дополнительные нелинейные измерения, полученные путем комбинирования исходных измерений. Увеличенное латентное пространство затем проецируется обратно в 1D пространство данных. Вероятность данной проекции, как и ранее, определяется произведением правдоподобия данных при гауссовской модели шума и априорного распределения параметра деформации. В отличие от традиционного моделирования деформации на основе пружин, это имеет преимущество в аналитической оптимизируемости. Недостатком является то, что это подход, основанный на "добыче данных", то есть форма априорного распределения деформации вряд ли будет иметь содержательный смысл как объяснение возможных деформаций, поскольку она основана на очень высокой, искусственной и произвольно сконструированной нелинейной латентной структуре. По этой причине априорное распределение изучается на основе данных, а не создается экспертом, как это возможно в моделях на основе пружин.

Сравнение с самоорганизующимися картами Кохонена

В то время как узлы в самоорганизующейся карте (SOM) могут свободно перемещаться, узлы GTM ограничены допустимыми преобразованиями и их вероятностями. Если деформации ведут себя предсказуемо, топология латентного пространства сохраняется. SOM был разработан как биологическая модель нейронов и является эвристическим алгоритмом. В отличие от этого, GTM не имеет отношения к нейронауке или когнитивным наукам и представляет собой вероятностно обоснованную модель. Таким образом, он обладает рядом преимуществ по сравнению с SOM, а именно:
он явно формулирует модель плотности распределения данных; он использует функцию стоимости, которая количественно оценивает качество обучения карты; он использует надежную процедуру оптимизации (алгоритм EM). GTM был представлен Бишопом, Свенсеном и Уильямсом в их техническом отчете в 1997 году (Технический отчет NCRG/96/015, Университет Астона, Великобритания), который позже был опубликован в журнале Neural Computation. Он также был описан в докторской диссертации Маркуса Свенсена (Астон, 1998).