Введение

Ситуация линейной зависимости в регрессионной модели

В статистике, мультиколлинеарность или коллинеарность – это ситуация, когда предикторы в регрессионной модели линейно зависимы. Полная мультиколлинеарность относится к ситуации, когда прогнозные переменные имеют точную линейную зависимость. При наличии полной коллинеарности матрица дизайна имеет ранг меньше полного, и, следовательно, матрицу моментов нельзя инвертировать. В этой ситуации оценки параметров регрессии не определены однозначно, поскольку система уравнений имеет бесконечно много решений. Частичная мультиколлинеарность относится к ситуации, когда прогнозные переменные имеют почти точную линейную зависимость. Вопреки распространенному мнению, ни теорема Гаусса-Маркова, ни более распространенное обоснование метода максимального правдоподобия для метода наименьших квадратов не основываются на какой-либо структуре корреляции между зависимыми предикторами (хотя полная коллинеарность может вызывать проблемы в некоторых программных пакетах). Нет оснований для удаления коллинеарных переменных в процессе регрессионного анализа, и такое удаление может быть расценено как научное недобросовестность. Эконометристы и статистики в шутку называют частичную коллинеарность "микронумерозностью", отмечая, что это проблема только при работе с недостаточным размером выборки. Другой распространенной причиной полной коллинеарности является попытка использовать метод наименьших квадратов при работе с очень широкими наборами данных (содержащими больше переменных, чем наблюдений). Для этого требуются более сложные методы анализа данных, такие как байесовское иерархическое моделирование, чтобы получить осмысленные результаты.

Численные вопросы

Иногда переменные почти коллинеарны. В этом случае матрица имеет обратную, но она плохо обусловлена. Компьютерный алгоритм может или не может вычислить приближенную обратную матрицу; даже если это возможно, полученная обратная матрица может содержать большие ошибки округления. Стандартной мерой плохой обусловленности матрицы является число обусловленности (или индекс состояния). Оно определяет, является ли инверсия матрицы численно неустойчивой при использовании чисел с конечной точностью, указывая на потенциальную чувствительность вычисленной обратной матрицы к небольшим изменениям в исходной матрице. Число обусловленности вычисляется как отношение максимального сингулярного значения к минимальному сингулярному значению матрицы проектирования. В контексте коллинеарных переменных, множитель инфляции дисперсии является числом обусловленности для конкретного коэффициента.