Введение

Процесс уменьшения числа случайных переменных, рассматриваемых в анализе – понижение размерности в физике.

Понижение размерности, или сокращение размерности, – это преобразование данных из пространства высокой размерности в пространство низкой размерности таким образом, чтобы представление в низкой размерности сохраняло некоторые значимые свойства исходных данных, в идеале близкие к их внутренней размерности. Работа в пространствах высокой размерности может быть нежелательна по многим причинам: исходные данные часто разрежены из-за «проклятия размерности», а анализ данных обычно вычислительно сложен (труден в управлении или обработке). Понижение размерности широко используется в областях, работающих с большим количеством наблюдений и/или переменных, таких как обработка сигналов, распознавание речи, нейроинформатика и биоинформатика. Методы обычно делятся на линейные и нелинейные подходы. Понижение размерности может применяться для снижения шума, визуализации данных, кластерного анализа или в качестве промежуточного этапа для упрощения других аналитических задач.

Выбор функций

Подходы к выбору признаков стремятся найти подмножество входных переменных (также называемых признаками или атрибутами). Существуют три стратегии: стратегия фильтра (например, информационный прирост), стратегия обертки (например, поиск с использованием точности) и встроенная стратегия (признаки добавляются или удаляются в процессе построения модели на основе ошибок предсказания). Анализ данных, такой как регрессия или классификация, может выполняться в уменьшенном пространстве с большей точностью, чем в исходном пространстве.

Проекция

Проекция признаков (также называемая выделением признаков) преобразует данные из пространства высокой размерности в пространство меньшей размерности. Преобразование данных может быть линейным, как, например, в анализе главных компонент (PCA), но существует множество нелинейных методов понижения размерности. Для многомерных данных тензорное представление может быть использовано для понижения размерности посредством многолинейного обучения подпространствам.

Анализ основных компонентов (PCA)

Основная линейная техника снижения размерности, анализ главных компонент, выполняет линейное преобразование данных в пространство меньшей размерности таким образом, чтобы дисперсия данных в низкоразмерном представлении была максимальной. На практике строится матрица ковариации (а иногда и корреляции) данных, и вычисляются собственные векторы этой матрицы. Собственные векторы, соответствующие наибольшим собственным значениям (главным компонентам), могут быть использованы для восстановления значительной части дисперсии исходных данных. Более того, первые несколько собственных векторов часто можно интерпретировать с точки зрения крупномасштабного физического поведения системы, поскольку они часто вносят подавляющую долю энергии системы, особенно в системах с малой размерностью. Тем не менее, это необходимо доказывать в каждом конкретном случае, так как не все системы демонстрируют подобное поведение. Исходное пространство (с размерностью, равной числу точек данных) было сведено (с некоторой потерей данных, но с сохранением наиболее важной дисперсии) к пространству, порожденному несколькими собственными векторами.

Факторизация неотрицательной матрицы (NMF)

NMF раскладывает неотрицательную матрицу на произведение двух неотрицательных матриц, что стало перспективным инструментом в областях, где существуют только неотрицательные сигналы, таких как астрономия. NMF хорошо известен благодаря мультипликативному правилу обновления, предложенному Ли и Сын, последовательному построению со стабильной компонентной базой в процессе построения и линейному процессу моделирования, последовательному NMF Hessian LLE, лапласовским собственным картам и методам, основанным на анализе тангентного пространства. Эти методы строят низкоразмерное представление данных, используя функцию стоимости, которая сохраняет локальные свойства данных, и могут рассматриваться как определение графового ядра для Kernel PCA. В последнее время были предложены методы, которые вместо определения фиксированного ядра пытаются обучить ядро с помощью полудефинитного программирования. Наиболее ярким примером такой техники является развертывание максимальной дисперсии (MVU). Центральная идея MVU заключается в точном сохранении всех попарных расстояний между ближайшими соседями (в пространстве внутренних произведений) при одновременном увеличении расстояний между точками, которые не являются ближайшими соседями. Альтернативный подход к сохранению соседства заключается в минимизации функции стоимости, измеряющей различия между расстояниями во входном и выходном пространствах. Важными примерами таких методов являются: классическое многомерное масштабирование, идентичное PCA; Isomap, использующий геодезические расстояния в пространстве данных; диффузионные карты, использующие диффузионные расстояния в пространстве данных; t-распределенное стохастическое вложение соседей (t-SNE), которое минимизирует расхождение между распределениями по парам точек; и криволинейный компонентный анализ. Другой подход к нелинейному понижению размерности заключается в использовании автокодировщиков – особого типа нейронных сетей с узким скрытым слоем (bottleneck). Обучение глубоких кодировщиков обычно выполняется с использованием жадного послойного предварительного обучения (например, с использованием стека ограниченных машин Больцмана), за которым следует этап тонкой настройки на основе обратного распространения ошибки.

Линейный дискриминантный анализ (ЛДА)

Линейный дискриминантный анализ (ЛДА) — это обобщение линейного дискриминанта Фишера, метод, используемый в статистике, распознавании образов и машинном обучении для нахождения линейной комбинации признаков, которая характеризует или разделяет два или более класса объектов или событий.

Обобщенный дискриминантный анализ (ОДА)

GDA занимается нелинейным дискриминантным анализом с использованием оператора функции ядра. Теоретические основы метода близки к машинам опорных векторов (SVM), поскольку GDA обеспечивает отображение входных векторов в пространство признаков высокой размерности. Подобно LDA, цель GDA – найти проекцию признаков в пространство меньшей размерности, максимизируя отношение междуклассовой дисперсии к внутриклассовой дисперсии.

Автокодер

Автокодировщики могут использоваться для одновременного обучения нелинейным функциям понижения размерности и кодированию, а также обратной функции, восстанавливающей исходное представление из кодировки.

t-SNE

T-распределенное стохастическое вложение соседей (t-SNE) — это метод нелинейного понижения размерности, полезный для визуализации многомерных данных. Не рекомендуется использовать его для задач анализа, таких как кластеризация или выявление выбросов, поскольку он не всегда хорошо сохраняет плотность или расстояния.

УМАП

Однородное приближение многообразий и проекция (UMAP) — это метод нелинейного понижения размерности. Визуально он похож на t-SNE, но исходит из предположения, что данные равномерно распределены на локально связанном римановом многообразии, а риманова метрика локально постоянна или приблизительно локально постоянна.

Пациент

PaCMAp (Pairwise Controlled Manifold Approximation) — это метод нелинейного понижения размерности, который можно использовать для визуализации. Систематическая оценка методов понижения размерности, учитывающая пять компонентов (сохранение локальной структуры, сохранение глобальной структуры, чувствительность к выбору параметров, чувствительность к выбору методов предварительной обработки и вычислительная эффективность), показала, что PaCMAp лучше сохраняет как глобальную, так и локальную структуры, при этом менее чувствителен к методам предварительной обработки.

Уменьшение размеров

Для высокоразмерных наборов данных (т.е. с числом измерений более 10) снижение размерности обычно выполняется перед применением алгоритма K ближайших соседей (k NN), чтобы избежать эффектов проклятия размерности. Выделение признаков и снижение размерности можно объединить в один шаг, используя анализ главных компонент (PCA), линейный дискриминантный анализ (LDA), канонический корреляционный анализ (CCA) или методы неотрицательной матричной факторизации (NMF) в качестве этапа предварительной обработки, за которым следует кластеризация с помощью K NN на векторах признаков в пространстве пониженной размерности. В машинном обучении этот процесс также называют низкоразмерным представлением. Для очень высокоразмерных наборов данных (например, при выполнении поиска схожести в потоковом видео, данных ДНК или высокоразмерных временных рядах) выполнение быстрого приближенного поиска K NN с использованием локально-чувствительного хеширования, случайной проекции, "эскизов" или других методов поиска схожести в высоких размерностях из инструментария конференции VLDB может быть единственно возможным вариантом.

Приложения

Техника понижения размерности, иногда используемая в нейробиологии, – это метод максимально информативных размерностей, который находит представление набора данных в меньшем числе измерений, сохраняя при этом максимально возможное количество информации об исходных данных.