Введение
Теория в области статистики
В статистике теория квадратичной несмещенной оценки минимальной нормы (MINQUE) была разработана К. Р. Рао. MINQUE является одной из теорий оценки, наряду с другими методами, такими как метод моментов или оценка максимального правдоподобия. Подобно теории наилучшей линейной несмещенной оценки, MINQUE специализируется на моделях линейной регрессии. Изначально метод был разработан для оценки гетероскедастической дисперсии ошибок в множественной линейной регрессии. Оценки MINQUE также представляют собой альтернативу оценкам максимального правдоподобия или оценкам ограниченного максимального правдоподобия для компонентов дисперсии в моделях со смешанными эффектами. Оценки MINQUE являются квадратичными формами переменной отклика и используются для оценки линейной функции дисперсий.
In statistics, the theory of minimum norm quadratic unbiased estimation (MINQUE) was developed by C. R. Rao. MINQUE is a theory alongside other estimation methods in estimation theory, such as the method of moments or maximum likelihood estimation. Similar to the theory of best linear unbiased estimation, MINQUE is specifically concerned with linear regression models. The method was originally conceived to estimate heteroscedastic error variance in multiple linear regression. MINQUE estimators also provide an alternative to maximum likelihood estimators or restricted maximum likelihood estimators for variance components in mixed effects models. MINQUE estimators are quadratic forms of the response variable and are used to estimate a linear function of the variances.
Принципы
Мы рассматриваем модель смешанных эффектов для случайного вектора со следующей линейной структурой. Здесь – матрица дизайна для фиксированных эффектов, – неизвестные параметры фиксированного эффекта, – матрица дизайна для -го случайного компонента эффекта, а – случайный вектор для -го случайного компонента эффекта. Предполагается, что случайные эффекты имеют нулевое среднее и некоррелированы. Кроме того, любые два вектора случайных эффектов также некоррелированы. Неизвестные дисперсии представляют собой компоненты дисперсии модели. Это общая модель, охватывающая широко используемые модели линейной регрессии. Модель Гаусса-Маркова: Если мы рассмотрим модель с одним компонентом, где , то модель эквивалентна модели Гаусса-Маркова с и . Гетероскедастическая модель: Каждый набор случайных переменных в , имеющих общую дисперсию, может быть смоделирован как отдельный компонент дисперсии с соответствующим значением. Компактное представление модели имеет вид, где и . Следует отметить, что данная модель не делает никаких предположений о распределении , кроме первого и второго моментов. Цель MINQUE – оценить , используя квадратичную форму. Оценки MINQUE выводятся путем определения матрицы , такой, чтобы оценка обладала некоторыми желательными свойствами, описанными ниже.
A compact representation for the model is the following, where and
Note that this model makes no distributional assumptions about other than the first and second moments. The goal in MINQUE is to estimate using a quadratic form MINQUE estimators are derived by identifying a matrix such that the estimator has some desirable properties, described below.
Неизменность перечисления фиксированных эффектов
Рассмотрим новый параметр фиксированного эффекта, который представляет собой сдвиг исходного фиксированного эффекта. Новая, эквивалентная модель теперь имеет следующий вид. В рамках этой эквивалентной модели оценщик MINQUE теперь равен. Рао утверждал, что поскольку лежащие в основе модели эквивалентны, этот оценщик должен быть равен. Этого можно достичь, наложив ограничение на , такое что , что гарантирует обнуление всех членов в разложении квадратичной формы, кроме .
Непредвзятая оценка
Предположим, что мы накладываем ограничение на , как было аргументировано в предыдущем разделе. Тогда оценщик MINQUE имеет следующий вид:
Для обеспечения несмещенности этого оценщика, математическое ожидание оценщика должно быть равно интересующему параметру. Ниже математическое ожидание оценщика можно разложить по компонентам, поскольку компоненты некоррелированы между собой. Кроме того, циклическое свойство следа используется для вычисления математического ожидания относительно . Для обеспечения несмещенности этого оценщика Рао предложил установить , что может быть достигнуто путем ограничения таким образом, чтобы для всех компонентов.
To ensure that this estimator is unbiased, Rao suggested setting , which can be accomplished by constraining such that for all components.
Минимальная норма
Рао утверждает, что если бы наблюдалось, то "естественным" оценщиком для было бы следующее, поскольку здесь определяется как диагональная матрица. Разница между предложенным оценщиком и естественным оценщиком равна . Эта разница может быть минимизирована путем минимизации нормы матрицы .
Стандартный оценщик гомоскедастической ошибки
В модели Гаусса-Маркова дисперсия ошибок оценивается следующим образом. Этот оценщик является несмещенным и может быть показано, что он минимизирует евклидову норму вида. Таким образом, стандартный оценщик дисперсии ошибок в модели Гаусса-Маркова является MINQUE-оценщиком.
Случайные переменные с общей средней и гетероскедастической ошибкой
Для случайных величин с общим математическим ожиданием и различными дисперсиями, оценщик MINQUE для равен , где и .
Расширения
Оценки MINQUE могут быть получены без критериев инвариантности, в этом случае оценка является только несмещенной и минимизирует норму. Такие оценки имеют несколько иные ограничения в задаче минимизации. Модель может быть расширена для оценки компонент ковариации. В такой модели предполагается, что случайные эффекты компонента имеют общую структуру ковариации. Также была предложена оценка MINQUE для смеси компонентов дисперсии и ковариации. В этой модели, для и для .