Введение

Метод оценки параметров в статистике – это техника, используемая для доказательства сходимости по распределению. В статистике метод моментов является методом оценки параметров генеральной совокупности. Тот же принцип используется для вывода высших моментов, таких как асимметрия и эксцесс. Он начинается с выражения моментов генеральной совокупности (то есть ожидаемых значений степеней рассматриваемой случайной величины) как функций интересующих параметров. Затем эти выражения приравниваются к выборочным моментам. Количество таких уравнений равно количеству параметров, которые необходимо оценить. Далее эти уравнения решаются относительно интересующих параметров. Решения являются оценками этих параметров. Метод моментов был введен Пафнутием Чебышевым в 1887 году при доказательстве центральной предельной теоремы. Идея сопоставления эмпирических моментов распределения с моментами генеральной совокупности восходит, по крайней мере, к Пирсону.

Метод

Предположим, что параметр = характеризует распределение случайной величины. Предположим, что первые моменты истинного распределения ("моменты генеральной совокупности") могут быть выражены как функции от s:

Предположим, что взята выборка размера , в результате чего получены значения . Для , пусть

будет j-м выборочным моментом, являющимся оценкой . Оцениватель метода моментов для , обозначаемый как , определяется как решение (если оно существует) уравнений:

Метод, описанный здесь для одной случайной величины, очевидным образом обобщается на случай множества случайных величин, что приводит к множеству вариантов выбора моментов для использования. Различные варианты, как правило, приводят к различным решениям [5], [6].

Преимущества и недостатки

Метод моментов достаточно прост и дает состоятельные оценки (при очень слабых предположениях), хотя эти оценки часто бывают смещенными. Он является альтернативой методу максимального правдоподобия. Однако в некоторых случаях уравнения правдоподобия могут быть неразрешимы без использования компьютеров, в то время как оценки методом моментов можно вычислить гораздо быстрее и проще. Благодаря простоте вычислений, оценки методом моментов могут использоваться в качестве первого приближения к решениям уравнений правдоподобия, а последовательные улучшенные приближения могут быть найдены методом Ньютона — Рафсона. Таким образом, метод моментов может помочь в нахождении оценок максимального правдоподобия. В некоторых случаях, редко встречающихся при больших выборках, но менее редких при малых выборках, оценки, полученные методом моментов, оказываются за пределами пространства параметров (как показано в примере ниже); в этом случае полагаться на них не имеет смысла. Эта проблема никогда не возникает при использовании метода максимального правдоподобия. Кроме того, оценки, полученные методом моментов, не обязательно являются достаточными статистиками, то есть они иногда не учитывают всю релевантную информацию в выборке. При оценке других структурных параметров (например, параметров функции полезности, а не параметров известного распределения вероятностей) подходящие распределения вероятностей могут быть неизвестны, и оценки, основанные на моментах, могут быть предпочтительнее оценки максимального правдоподобия.

Альтернативный метод моментов

Уравнения, подлежащие решению в методе моментов (ММ), как правило, нелинейны, и нет универсальных гарантий существования аналитических решений. Однако существует альтернативный подход к использованию выборочных моментов для оценки параметров модели данных, основанный на известной зависимости модельных моментов от этих параметров. Этот подход требует решения только линейных уравнений или, в более общем случае, тензорных уравнений. Этот альтернативный метод называется Bayesian Like MoM (BL MoM) и отличается от классического ММ использованием оптимально взвешенных выборочных моментов. Учитывая, что ММ обычно обусловлен недостатком информации о модели данных для определения функций правдоподобия и соответствующих апостериорных вероятностей неизвестных или случайных параметров, парадоксально, что существует разновидность ММ, носящая название Bayesian Like. Однако специфическое значение термина "Bayesian Like" приводит к такой постановке задачи, в которой требуемые знания об апостериорных вероятностях заменяются требуемыми знаниями только о зависимости модельных моментов от неизвестных параметров модели, что, по сути, является информацией, необходимой и для традиционного ММ [1],[2],[5]–[9]. BL MoM также использует информацию об априорных вероятностях оцениваемых параметров, если она доступна, в противном случае используются равномерные априорные распределения. О BL MoM сообщалось только в литературе по прикладной статистике в контексте оценки параметров и проверки гипотез на основе наблюдений стохастических процессов для задач теории информации и связи, и в частности, при проектировании приемников связи в условиях отсутствия информации о функциях правдоподобия или соответствующих апостериорных вероятностях [10] и ссылках на них. Кроме того, переформулировка этого подхода к проектированию приемников для стохастических моделей процессов как альтернативы классическому ММ для любого типа многомерных данных представлена в виде учебного пособия на сайте университета [11, страница 11.4]. Приложения, описанные в [10] и в указанных источниках, демонстрируют некоторые важные характеристики этой альтернативы классическому ММ, а подробный перечень относительных преимуществ и недостатков приведен в [11, страница 11.4]. Однако в литературе отсутствуют прямые сравнительные исследования классического ММ и BL MoM в конкретных приложениях.

Примеры

Примером применения метода моментов является оценка полиномиальных распределений плотности вероятности. В этом случае на интервале определяется приближающий полином порядка . Метод моментов затем приводит к системе уравнений, решение которой включает инверсию матрицы Хэнкеля.

Доказательство центральной предельной теоремы

Пусть $\xi_i$ – независимые случайные величины со средним значением 0 и дисперсией 1, тогда пусть $S_n = \sum_{i=1}^n \xi_i$. Мы можем вычислить моменты $S_n$ как

Явное разложение показывает, что

где числитель – это количество способов выбрать $k$ различных пар шаров, выбирая по одному из $n$ ящиков, каждый из которых содержит шары, пронумерованные от 1 до $n$. В пределе все моменты сходятся к моментам стандартного нормального распределения. Дальнейший анализ показывает, что эта сходимость в моментах подразумевает сходимость в распределении. По сути, этот аргумент был опубликован Чебышевым в 1887 году.