Введение

Статистический метод

Регрессия частичных наименьших квадратов (регрессия PLS) — это статистический метод, имеющий некоторое отношение к регрессии главных компонент. В отличие от поиска гиперплоскостей максимальной дисперсии между зависимой и независимыми переменными, он находит модель линейной регрессии, проецируя прогнозируемые переменные и наблюдаемые переменные в новое пространство. Поскольку данные как X, так и Y проецируются в новые пространства, семейство методов PLS известно как билинейные факторные модели. Дискриминантный анализ частичных наименьших квадратов (PLS DA) — это вариант, используемый, когда Y является категориальной переменной. PLS используется для выявления фундаментальных взаимосвязей между двумя матрицами (X и Y), то есть представляет собой подход, основанный на скрытых переменных, для моделирования ковариационных структур в этих двух пространствах. Модель PLS стремится найти многомерное направление в пространстве X, которое объясняет максимальное многомерное направление дисперсии в пространстве Y. Регрессия PLS особенно подходит, когда матрица предикторов содержит больше переменных, чем наблюдений, и когда среди значений X присутствует мультиколлинеарность. В отличие от этого, стандартная регрессия в таких случаях может оказаться неэффективной (если не применяется регуляризация). Метод частичных наименьших квадратов был предложен шведским статистиком Германом О. А. Вольдом, который затем развивал его вместе со своим сыном Сванте Вольдом. Альтернативным названием для PLS является проекция на латентные структуры, однако термин «частичные наименьшие квадраты» по-прежнему преобладает во многих областях. Хотя первоначальные применения были в социальных науках, в настоящее время регрессия PLS наиболее широко используется в хемометрике и смежных областях. Она также применяется в биоинформатике, сенсорике, нейробиологии и антропологии.

Основная идея

При наличии парных случайных выборок на первом этапе регрессия наименьших квадратов ищет нормализованное направление, максимизирующее корреляцию. Ниже алгоритм представлен в матричной форме.

L-PLS

Другое расширение регрессии PLS, названное L PLS из-за формы его матриц в виде буквы L, связывает 3 связанных блока данных для повышения точности прогнозирования. Вкратце, к анализу регрессии PLS добавляется новая матрица Z, имеющая такое же количество столбцов, как и матрица X, что может быть полезно для включения дополнительной справочной информации о взаимосвязи между предикторами.

3ПРФ

В 2015 году метод частичных наименьших квадратов был соотнесен с процедурой, называемой трехпроходным регрессионным фильтром (3PRF). Если число наблюдений и переменных достаточно велико, то 3PRF (а следовательно, и PLS) асимптотически нормален для "наилучшего" прогноза, вытекающего из линейной латентной факторной модели. При анализе данных фондового рынка было показано, что PLS обеспечивает точные вневыборочные прогнозы доходности и темпов роста денежного потока.

Частичный наименьший квадрат SVD

Версия PLS, основанная на сингулярном разложении (SVD), предоставляет экономную с точки зрения памяти реализацию, которую можно использовать для решения задач высокой размерности, таких как установление связи между миллионами генетических маркеров и тысячами признаков изображений в визуальной генетике, на потребительском оборудовании.

Корреляция PLS

Корреляция PLS (PLSC) — это еще одна методология, связанная с регрессией PLS, которая применялась в нейровизуализации и спортивной науке для количественной оценки силы связи между наборами данных. Как правило, PLSC разделяет данные на два блока (подгруппы), каждый из которых содержит одну или несколько переменных, а затем использует сингулярное разложение (SVD) для определения силы взаимосвязи (то есть объема общей информации), которая может существовать между этими двумя подгруппами. Это достигается путем использования SVD для определения инерции (то есть суммы сингулярных значений) матрицы ковариации рассматриваемых подгрупп.