Введение

Способ вывода информации из матриц перекрестной ковариантности. В статистике канонический корреляционный анализ (CCA), также называемый анализом канонических переменных, является способом вывода информации из матриц перекрестной ковариантности. Если у нас есть два вектора X = (X1, …, Xn) и Y = (Y1, …, Ym) случайных переменных, и между переменными существуют корреляции, то канонический корреляционный анализ найдет линейные комбинации X и Y, которые имеют максимальную корреляцию друг с другом. Т. Р. Кнапп отмечает, что «практически все часто встречающиеся параметрические тесты значимости можно рассматривать как частные случаи канонического корреляционного анализа, который является общей процедурой для исследования взаимосвязей между двумя наборами переменных». Метод был впервые представлен Гарольдом Хотеллингом в 1936 году, хотя математическая концепция в контексте углов между плоскостями была опубликована Камилем Жорданом в 1875 году. В настоящее время CCA является краеугольным камнем многомерной статистики и обучения на множественных представлениях, и было предложено большое количество интерпретаций и расширений, таких как вероятностный CCA, разреженный CCA, CCA на множественных представлениях, глубокий CCA и DeepGeoCCA. К сожалению, возможно, из-за его популярности, в литературе может наблюдаться непоследовательность в обозначениях, и мы пытаемся выделить такие несоответствия в этой статье, чтобы помочь читателю наилучшим образом использовать существующую литературу и доступные методы. Как и его сопутствующий метод PCA, CCA можно рассматривать в популяционной форме (соответствующей случайным векторам и их матрицам ковариантности) или в выборочной форме (соответствующей наборам данных и их выборочным матрицам ковариантности). Эти две формы почти точные аналоги друг друга, поэтому их различие часто упускается из виду, но они могут вести себя по-разному в многомерных пространствах. Далее мы приводим четкие математические определения для популяционной задачи и выделяем различные объекты в так называемом каноническом разложении. Понимание различий между этими объектами имеет решающее значение для интерпретации метода.

Определение СКВ населения с помощью корреляций

При наличии двух столбцовых векторов и случайных переменных с конечными вторыми моментами, можно определить перекрестную ковариацию как матрицу, элемент которой является ковариацией. На практике матрицу ковариации оценивают на основе выборочных данных из и (то есть из пары матриц данных). Канонический корреляционный анализ ищет последовательность векторов и таких, что случайные переменные и максимизируют корреляцию. (Скалярные) случайные переменные и являются первой парой канонических переменных. Затем ищут векторы, максимизирующие ту же корреляцию, при условии, что они некоррелированы с первой парой канонических переменных; это дает вторую пару канонических переменных. Эта процедура может быть продолжена до раз. Наборы векторов называются каноническими направлениями, векторами весов или просто весами. "Двойные" наборы векторов называются каноническими векторами нагрузок или просто нагрузками; их часто проще интерпретировать, чем веса.

Испытание гипотезы

Каждый ряд можно проверить на значимость следующим образом. Поскольку корреляции отсортированы, утверждение о том, что ряд равен нулю, подразумевает, что все последующие корреляции также равны нулю. Если у нас есть *n* независимых наблюдений в выборке, а *r<sub>i</sub>* – оценка корреляции для *i*-го ряда, то статистический критерий для *i*-го ряда выглядит так:

который асимптотически распределен по закону хи-квадрат с *n-i* степенями свободы при больших *n*. Поскольку все корреляции от *i* до *n* логически равны нулю (и также оцениваются как таковые), произведение для членов после этой точки не имеет значения. Следует отметить, что при малом размере выборки, когда *i* близко к *n*, мы гарантированно получим, что верхние корреляции будут равны 1, и, следовательно, тест становится бессмысленным.

Практическое применение

Типичное применение канонической корреляции в экспериментальном контексте – это анализ двух наборов переменных для выявления общих между ними характеристик. Например, в психологическом тестировании можно использовать два хорошо зарекомендовавших себя многомерных теста личности, такие как Инвентарь многофазной личности Миннесоты (MMPI-2) и NEO. Изучая взаимосвязь между факторами MMPI-2 и факторами NEO, можно получить представление о том, какие общие измерения присутствуют в обоих тестах и какая доля дисперсии между ними разделяется. Например, может оказаться, что измерение экстраверсии или невротизма объясняет значительную часть общей дисперсии между двумя тестами. Канонический корреляционный анализ также можно использовать для построения модели, связывающей два набора переменных, например, набор показателей эффективности и набор объясняющих переменных, или набор выходных данных и набор входных данных. К такой модели можно применять ограничения, чтобы обеспечить соответствие теоретическим требованиям или очевидным условиям. Этот тип модели известен как модель максимальной корреляции. Визуализация результатов канонической корреляции обычно выполняется с помощью столбчатых диаграмм, отображающих коэффициенты для двух наборов переменных для пар канонических переменных, демонстрирующих значимую корреляцию. Некоторые авторы предлагают визуализировать их в виде гелиографов – кругового формата с лучеобразными полосами, где каждая половина представляет один из наборов переменных.

Примеры

Пусть с нулевым математическим ожиданием, т.е. Если , т.е. и идеально коррелируют, то, например, и , так что первая (и единственная в этом примере) пара канонических переменных равна и . Если , т.е. и идеально антикоррелируют, то, например, и , так что первая (и единственная в этом примере) пара канонических переменных равна и .

Мы замечаем, что в обоих случаях , что иллюстрирует, что анализ канонической корреляции одинаково относится к коррелированным и антикоррелированным переменным.

Соединение с основными углами

Предполагая, что и имеют нулевые математические ожидания, то есть , их матрицы ковариации и могут рассматриваться как матрицы Грамма во внутреннем произведении для элементов и , соответственно. В этой интерпретации случайные величины, элементы и элементы рассматриваются как элементы векторного пространства с внутренним произведением, заданным ковариацией; см. Ковариация#Связь с внутренними произведениями. Определение канонических переменных и тогда эквивалентно определению главных векторов для пары подпространств, порожденных элементами и относительно этого внутреннего произведения. Канонические корреляции равны косинусам главных углов.

Отбеливание и вероятностный канонический анализ корреляции

CCA также можно рассматривать как специальное преобразование отбеливания, при котором случайные векторы и одновременно преобразуются таким образом, чтобы перекрестная корреляция между отбеленными векторами и стала диагональной. Канонические корреляции в этом случае интерпретируются как коэффициенты регрессии, связывающие и , и могут быть как положительными, так и отрицательными. Регрессионный подход к CCA также позволяет построить вероятностную генеративную модель с латентными переменными, где некоррелированные скрытые переменные отражают общую и уникальную изменчивость.