Введение

Метод статистической оценки

В статистике обобщенный метод наименьших квадратов (GLS) — это метод, используемый для оценки неизвестных параметров в модели линейной регрессии. Он применяется, когда существует ненулевая корреляция между остатками регрессионной модели. GLS используется для повышения статистической эффективности и снижения риска получения неверных выводов по сравнению с обычным методом наименьших квадратов и методом взвешенных наименьших квадратов. Впервые он был описан Александром Эйткеном в 1935 году. Для его применения требуется знание матрицы ковариаций остатков. Если она неизвестна, оценка матрицы ковариаций приводит к методу осуществимых обобщенных наименьших квадратов (FGLS). Однако FGLS предоставляет меньше гарантий улучшения результатов.

Свойства

Оценщик GLS является несмещенным, состоятельным, эффективным и асимптотически нормальным. GLS эквивалентен применению метода наименьших квадратов (OLS) к линейно преобразованной версии данных. Это можно увидеть, разложив матрицу, например, с помощью разложения Холецкого. Умножение обеих частей уравнения слева на приводит к эквивалентной линейной модели: в этой модели , где – единичная матрица. Затем можно эффективно оценить, применив OLS к преобразованным данным, что требует минимизации целевой функции. Это преобразование эффективно стандартизирует масштаб и устраняет корреляцию между ошибками. Когда OLS используется для данных с гомоскедастичными ошибками, применяется теорема Гаусса — Маркова, поэтому оценка GLS является наилучшим линейным несмещенным оценщиком для β.

Взвешенные наименьшие квадраты

Особый случай GLS, называемый взвешенными наименьшими квадратами (WLS), возникает, когда все элементы вне главной диагонали матрицы Ω равны нулю. Это происходит, когда дисперсии наблюдаемых значений различны или присутствует гетероскедастичность, но корреляции между наблюдаемыми дисперсиями отсутствуют. Вес для наблюдения i пропорционален величине, обратной дисперсии отклика для наблюдения i.

Вывод по максимальной вероятности

Обычные наименьшие квадраты можно интерпретировать как оценку максимального правдоподобия с априорным предположением, что ошибки независимы и нормально распределены с нулевым средним и общей дисперсией. В GLS априорное предположение обобщается на случай, когда ошибки могут быть зависимыми и иметь различные дисперсии. Для заданных параметров подгонки , условная функция плотности вероятности ошибок предполагается равной.
Согласно теореме Байеса, в GLS для выбирается равномерное (несобственное) априорное распределение, и поскольку является предельным распределением, оно не зависит от . Следовательно, логарифм вероятности равен , где скрытые члены – это те, которые не зависят от , а – логарифм правдоподобия. Максимальная апостериорная оценка (MAP) тогда является оценкой максимального правдоподобия (MLE), которая эквивалентна задаче оптимизации, описанной выше, где заменено на , а задача оптимизации переписана с использованием того факта, что логарифм является строго возрастающей функцией и свойства, согласно которому аргумент, решающий задачу оптимизации, не зависит от членов целевой функции, не включающих этот аргумент.