Введение

Теорема, связанная с методом наименьших квадратов

В статистике теорема Гаусса — Маркова (или просто теорема Гаусса, по мнению некоторых авторов) утверждает, что оценщик обычного метода наименьших квадратов (OLS) обладает наименьшей дисперсией среди класса линейных несмещенных оценщиков, при условии, что ошибки в модели линейной регрессии некоррелированы, имеют одинаковые дисперсии и нулевое математическое ожидание. Для применения теоремы ошибки не обязаны иметь нормальное распределение, а также не должны быть независимыми и одинаково распределенными (достаточно, чтобы они были некоррелированными с нулевым средним и гомоскедастичными с конечной дисперсией). От требования несмещенности отказаться нельзя, поскольку существуют смещенные оценщики с меньшей дисперсией и средней квадратичной ошибкой. Например, оценщик Джеймса — Стейна (который также не является линейным) и гребневая регрессия обычно превосходят метод наименьших квадратов. Фактически, метод наименьших квадратов редко является допустимым оценщиком, что демонстрирует феномен Стейна: при оценке более двух неизвестных переменных он всегда будет показывать худшие результаты (в смысле средней квадратичной ошибки), чем оценщик Стейна. Кроме того, теорема Гаусса — Маркова неприменима при рассмотрении более обоснованных функций потерь, таких как назначенная вероятность или расхождение Кульбака — Лейблера, за исключением частного случая ошибок, имеющих нормальное распределение. В результате этих открытий статистики обычно обосновывают использование метода наименьших квадратов принципом максимального правдоподобия или рассматривают его как разновидность приближенного байесовского вывода. Теорема названа в честь Карла Фридриха Гаусса и Андрея Маркова. Гаусс предоставил первоначальное доказательство, которое впоследствии было существенно обобщено Марковым.

Доказательство

Пусть $\hat{\beta}_2$ будет другим линейным оценщиком $\beta$ с $\hat{\beta}_2 = X_2 \gamma$, где $X_2$ – ненулевая матрица. Поскольку мы рассматриваем только несмещенные оценки, минимальная среднеквадратичная ошибка подразумевает минимальную дисперсию. Следовательно, наша цель – показать, что дисперсия такого оценщика не превосходит дисперсии OLS-оценщика. Вычислим:

Следовательно, поскольку $\beta$ ненаблюема, $\hat{\beta}_2$ является несмещенной тогда и только тогда, когда $E[\hat{\beta}_2] = \beta$. Тогда:

Поскольку $X_2^T X_2$ – положительно полуопределенная матрица, $X_2^T X_2$ превышает $X^T X$ на положительно полуопределенную матрицу.

Замечания к доказательству

Как уже было сказано ранее, условие положительной полуопределенности матрицы эквивалентно тому, что наилучшим линейным несмещенным оценщиком является (наилучшим в том смысле, что он имеет минимальную дисперсию). Чтобы увидеть это, пусть еще один линейный несмещенный оценщик. Более того, равенство выполняется тогда и только тогда, когда. Вычислим.

Это доказывает, что равенство выполняется тогда и только тогда, когда, что обеспечивает единственность оценки методом наименьших квадратов (OLS) как BLUE.

Обобщенный оценщик наименьших квадратов

Обобщенные наименьшие квадраты (GLS), разработанные Эйткеном, расширяют теорему Гаусса — Маркова на случай, когда вектор ошибок имеет нескалярную матрицу ковариации. Оценка Эйткена также является наилучшей линейной несмещенной оценкой (BLUE).

Теорема Гаусса-Маркова, как она изложена в эконометрике

В большинстве изложений ОМС предполагается, что регрессоры (параметры, представляющие интерес) в матрице дизайна фиксированы в повторных выборках. Это предположение считается неприемлемым для преимущественно неэкспериментальной науки, такой как эконометрика. Вместо этого предположения теоремы Гаусса-Маркова формулируются условно относительно .

Полный ранг

Матрица данных выборки должна иметь полный столбцовый ранг. В противном случае матрица не будет обратима, и оценщик OLS не сможет быть вычислен. Нарушением этого предположения является точная мультиколлинеарность, то есть некоторые объясняющие переменные линейно зависимы. Один из сценариев, в котором это может произойти, называется "ловушкой манекенов", когда базовая манекен-переменная не исключена, что приводит к полной корреляции между манекен-переменными и константой. Мультиколлинеарность (пока она не является "точной") может присутствовать, приводя к менее эффективной, но все еще несмещенной оценке. Оценки будут менее точными и сильно зависеть от конкретных наборов данных. Мультиколлинеарность можно обнаружить по числу обусловленности или фактору увеличения дисперсии, среди других тестов.

Сферические ошибки

Внешнее произведение вектора ошибок должно быть сферическим. Это подразумевает, что ошибка имеет постоянную дисперсию (гомоскедастичность) и отсутствие автокорреляции. Если это предположение нарушается, метод наименьших квадратов (OLS) остаётся несмещённым, но неэффективным. Термин "сферические ошибки" описывает многомерное нормальное распределение: если в плотности многомерного нормального распределения, то уравнение представляет собой формулу для сферы с центром в μ и радиусом σ в n-мерном пространстве. Гетероскедастичность возникает, когда величина ошибки связана с независимой переменной. Например, в регрессии расходов на продукты питания и дохода, ошибка коррелирует с доходом. Люди с низким доходом обычно тратят на продукты питания примерно одинаковую сумму, в то время как люди с высоким доходом могут тратить значительно больше или столько же, сколько люди с низким доходом. Гетероскедастичность также может быть вызвана изменениями в методах измерения. Например, по мере улучшения качества данных, собираемых статистическими службами, ошибка измерения уменьшается, и, следовательно, величина ошибки со временем снижается. Это предположение нарушается при наличии автокорреляции. Автокорреляцию можно визуализировать на графике данных, когда конкретное наблюдение с большей вероятностью находится выше линии регрессии, если соседние наблюдения также находятся выше этой линии. Автокорреляция часто встречается во временных рядах, где ряд данных может проявлять "инерцию", то есть зависимой переменной требуется время, чтобы полностью отреагировать на шок. Пространственная автокорреляция также может возникать, когда географически близкие области имеют схожие ошибки. Автокорреляция может быть следствием неправильной спецификации модели, например, выбора неверной функциональной формы. В таких случаях исправление спецификации может быть одним из способов устранения автокорреляции. Когда предположение о сферических ошибках может быть нарушено, обобщённый метод наименьших квадратов (GLS) является наилучшим линейным несмещённым оценщиком (BLUE).