Оценка параметров на основе наблюдаемых данных.

Введение

Правило для вычисления оценки заданной величины на основе наблюдаемых данных.

В статистике, оценивающая функция – это правило для вычисления оценки заданной величины на основе наблюдаемых данных: таким образом, различаются правило (оценивающая функция), интересующая величина (оцениваемое значение) и её результат (оценка). Например, выборочное среднее является широко используемой оценивающей функцией для среднего значения генеральной совокупности. Существуют точечные и интервальные оценивающие функции. Точечные оценивающие функции дают однозначные результаты. Это в отличие от интервальной оценивающей функции, где результатом является диапазон правдоподобных значений. "Однозначное значение" не обязательно означает "одно число", но включает в себя оценивающие функции, возвращающие вектор или функцию. Теория оценки занимается свойствами оценивающих функций; то есть определением свойств, которые можно использовать для сравнения различных оценивающих функций (различных правил построения оценок) для одной и той же величины на основе одних и тех же данных. Эти свойства могут быть использованы для определения наилучших правил, которые следует применять в конкретных обстоятельствах. Однако в робастной статистике статистическая теория рассматривает баланс между наличием хороших свойств при строгом соблюдении предположений и наличием худших свойств, сохраняющихся в более широких условиях.

Предыстория

"Оценочный показатель" или "точечная оценка" – это статистическая функция (то есть функция данных), используемая для получения информации о значении неизвестного параметра в статистической модели. Распространенный способ формулировки: "оценщик – это метод, выбранный для получения оценки неизвестного параметра". Параметр, который оценивается, иногда называют оцениваемым. Он может быть как конечномерным (в параметрических и полупараметрических моделях), так и бесконечномерным (в полупараметрических и непараметрических моделях). Если параметр обозначен как , то оценщик традиционно записывается с добавлением символа надстрочного знака (циркумфлекса) над символом: будучи функцией данных, оценщик сам по себе является случайной величиной; конкретное значение этой случайной величины называется "оценкой". Иногда слова "оценщик" и "оценка" используются как синонимы. Определение практически не накладывает ограничений на то, какие функции данных могут называться "оценщиками". Эффективность различных оценщиков можно оценить, рассматривая их свойства, такие как несмещенность, среднеквадратичная ошибка, состоятельность, асимптотическое распределение и т.д. Построение и сравнение оценщиков – предмет теории оценки. В контексте теории принятия решений оценщик является типом правила принятия решений, и его эффективность может быть оценена с помощью функций потерь. Когда слово "оценщик" используется без уточнения, обычно подразумевается точечная оценка. В этом случае оценка представляет собой единственную точку в пространстве параметров. Существует также другой тип оценщика: интервальные оценщики, где оценки являются подмножествами пространства параметров. Задача оценки плотности возникает в двух приложениях. Во-первых, при оценке функций плотности вероятности случайных величин, а во-вторых, при оценке спектральной плотности временного ряда. В этих задачах оценки являются функциями, которые можно рассматривать как точечные оценки в бесконечномерном пространстве, и существуют соответствующие задачи интервальной оценки.

An "estimator" or "point estimate" is a statistic (that is, a function of the data) that is used to infer the value of an unknown parameter in a statistical model. A common way of phrasing it is "the estimator is the method selected to obtain an estimate of an unknown parameter". The parameter being estimated is sometimes called the estimand. It can be either finite dimensional (in parametric and semi parametric models), or infinite dimensional (semi parametric and non parametric models). If the parameter is denoted then the estimator is traditionally written by adding a circumflex over the symbol: Being a function of the data, the estimator is itself a random variable; a particular realization of this random variable is called the "estimate". Sometimes the words "estimator" and "estimate" are used interchangeably. The definition places virtually no restrictions on which functions of the data can be called the "estimators". The attractiveness of different estimators can be judged by looking at their properties, such as unbiasedness, mean square error, consistency, asymptotic distribution, etc. The construction and comparison of estimators are the subjects of the estimation theory. In the context of decision theory, an estimator is a type of decision rule, and its performance may be evaluated through the use of loss functions. When the word "estimator" is used without a qualifier, it usually refers to point estimation. The estimate in this case is a single point in the parameter space. There also exists another type of estimator: interval estimators, where the estimates are subsets of the parameter space. The problem of density estimation arises in two applications. Firstly, in estimating the probability density functions of random variables and secondly in estimating the spectral density function of a time series. In these problems the estimates are functions that can be thought of as point estimates in an infinite dimensional space, and there are corresponding interval estimation problems.

Определение

Предположим, что необходимо оценить фиксированный параметр. Тогда "оценщик" – это функция, которая отображает пространство выборок на множество выборочных оценок. Оценщик параметра обычно обозначается символом . Часто удобно выражать теорию, используя алгебру случайных величин: таким образом, если X используется для обозначения случайной величины, соответствующей наблюдаемым данным, то оценщик (рассматриваемый сам как случайная величина) символизуется как функция этой случайной величины, а оценка для конкретного наблюдаемого значения данных (то есть для ) равна , которая является фиксированным значением. Часто используется сокращенная запись, в которой интерпретируется непосредственно как случайная величина, но это может привести к путанице.

Количественно определяемые свойства

Следующие определения и характеристики являются актуальными.

Расхождение

Дисперсия – это математическое ожидание квадрата отклонений выборочных значений; то есть, она используется для оценки того, насколько в среднем совокупность оценок отклоняется от математического ожидания этих оценок. (Обратите внимание на разницу между среднеквадратичной ошибкой и дисперсией.) Если параметр – это центр мишени, а стрелы – это оценки, то относительно высокая дисперсия означает, что стрелы разбросаны, а относительно низкая дисперсия – что стрелы сгруппированы. Даже если дисперсия мала, группа стрел все равно может быть далека от центра мишени, и даже если дисперсия высока, рассеянный набор стрел все равно может быть несмещенным. Наконец, даже если все стрелы сильно промахнулись мимо мишени, но все они попали в одну и ту же точку, дисперсия будет равна нулю.

Предвзятость

Смещение определяется как расстояние между средним значением совокупности оценок и оцениваемым параметром. Смещение является функцией истинного значения , поэтому утверждение о том, что смещение равно , означает, что для каждого значения смещение равно .

The bias of is defined as It is the distance between the average of the collection of estimates, and the single parameter being estimated. The bias of is a function of the true value of so saying that the bias of is means that for every the bias of is
There are two kinds of estimators: biased estimators and unbiased estimators. Whether an estimator is biased or not can be identified by the relationship between and 0:
If , is biased. If , is unbiased. The bias is also the expected value of the error, since If the parameter is the bull's eye of a target and the arrows are estimates, then a relatively high absolute value for the bias means the average position of the arrows is off target, and a relatively low absolute bias means the average position of the arrows is on target. They may be dispersed, or may be clustered. The relationship between bias and variance is analogous to the relationship between accuracy and precision. The estimator is an unbiased estimator of if and only if Bias is a property of the estimator, not of the estimate. Often, people refer to a "biased estimate" or an "unbiased estimate", but they really are talking about an "estimate from a biased estimator", or an "estimate from an unbiased estimator". Also, people often confuse the "error" of a single estimate with the "bias" of an estimator. That the error for one estimate is large, does not mean the estimator is biased. In fact, even if all estimates have astronomical absolute values for their errors, if the expected value of the error is zero, the estimator is unbiased. Also, an estimator's being biased does not preclude the error of an estimate from being zero in a particular instance. The ideal situation is to have an unbiased estimator with low variance, and also try to limit the number of samples where the error is extreme (that is, have few outliers). Yet unbiasedness is not essential. Often, if just a little bias is permitted, then an estimator can be found with lower mean squared error and/or fewer outlier sample estimates. An alternative to the version of "unbiased" above, is "median unbiased", where the median of the distribution of estimates agrees with the true value; thus, in the long run half the estimates will be too low and half too high. While this applies immediately only to scalar valued estimators, it can be extended to any measure of central tendency of a distribution: see median unbiased estimators. In a practical problem, can always have functional relationship with For example, A genetic theory states there is a type of leave, starchy green, occur with probability , with For leaves, the random variable , the number of starchy green leaves, can be modeled with a distribution. The number can be used to express the following estimator for : One can show that is an unbiased estimator for :

Существуют два типа оценщиков: смещенные и несмещенные. Смещенность оценщика можно определить по соотношению между и 0:
Если , оценщик смещен. Если , оценщик несмещен. Смещение также является математическим ожиданием ошибки, поскольку если параметр – это центр мишени, а оценки – стрелы, то относительно высокое абсолютное значение смещения означает, что среднее положение стрел отклоняется от центра, а относительно низкое абсолютное смещение означает, что среднее положение стрел близко к центру. Стрелы могут быть разбросаны или сгруппированы. Связь между смещением и дисперсией аналогична связи между точностью и прецизионностью. Оценщик является несмещенным оценщиком , если и только если . Смещение – это свойство оценщика, а не оценки. Часто люди говорят о «смещенной оценке» или «несмещенной оценке», но на самом деле имеют в виду «оценку, полученную с помощью смещенного оценщика» или «оценку, полученную с помощью несмещенного оценщика». Кроме того, люди часто путают «ошибку» отдельной оценки с «смещением» оценщика. Большая ошибка одной оценки не означает, что оценщик смещен. Фактически, даже если все оценки имеют огромные абсолютные значения ошибок, если математическое ожидание ошибки равно нулю, оценщик остается несмещенным. Кроме того, смещенность оценщика не исключает возможности того, что ошибка оценки в конкретном случае будет равна нулю. Идеальная ситуация – это несмещенный оценщик с низкой дисперсией, а также стремление ограничить количество выборок, в которых ошибка экстремальна (то есть иметь мало выбросов). Однако несмещенность не является обязательной. Часто, если допустить небольшое смещение, можно найти оценщик с меньшей среднеквадратичной ошибкой и/или меньшим количеством выбросов в выборке. Альтернативой вышеупомянутому определению «несмещенности» является «медианная несмещенность», когда медиана распределения оценок совпадает с истинным значением; таким образом, в долгосрочной перспективе половина оценок будет занижена, а половина – завышена. Хотя это применимо непосредственно только к скалярным оценщикам, его можно распространить на любую меру центральной тенденции распределения: см. медианные несмещенные оценщики. В практической задаче всегда может существовать функциональная связь между и . Например, генетическая теория утверждает, что существует тип листьев, крахмалистый зеленый, который возникает с вероятностью , при Для листьев случайная величина , количество крахмалистых зеленых листьев, может быть смоделирована распределением. Это число можно использовать для выражения следующего оценщика для : Можно показать, что является несмещенным оценщиком для : .

Консистенция Фишера

Оценщик может считаться согласованным по Фишеру, если он является тем же функционалом от эмпирической функции распределения, что и от истинной функции распределения. Согласно формуле:

где и – эмпирическая и теоретическая функции распределения соответственно. Простой способ проверить согласованность по Фишеру – это проверить согласованность среднего и дисперсии. Например, для проверки согласованности среднего значения и для проверки согласованности дисперсии необходимо убедиться, что .

Асимптотическая нормальность

Асимптотически нормальный оценщик — это состоятельный оценщик, распределение которого вокруг истинного параметра θ приближается к нормальному распределению со стандартным отклонением, уменьшающимся пропорционально 1/sqrt(n) при росте размера выборки n. Используя обозначение для сходимости в распределении, tn является асимптотически нормальным, если

для некоторого V.

В данной формулировке V/n можно назвать асимптотической дисперсией оценщика. Однако некоторые авторы также называют V асимптотической дисперсией. Следует отметить, что сходимость не обязательно достигается для любого конечного n, поэтому это значение является лишь приближением к истинной дисперсии оценщика, в то время как в пределе асимптотическая дисперсия (V/n) стремится к нулю. Более точно, распределение оценщика tn слабо сходится к дельта-функции Дирака, центрированной в. Центральная предельная теорема подразумевает асимптотическую нормальность выборочного среднего как оценщика истинного среднего. В более общем случае, оценщики максимального правдоподобия асимптотически нормальны при достаточно слабых условиях регулярности — см. раздел «Асимптотика» в статье «Оценка максимального правдоподобия». Однако не все оценщики асимптотически нормальны; простейшие примеры возникают, когда истинное значение параметра лежит на границе допустимой области параметров.

Эффективность

Эффективность оценщика используется для оценки интересующей величины с минимальной погрешностью. В действительности, не существует однозначно лучшего оценщика; может быть только лучший оценщик. Оценка эффективности оценщика зависит от выбора конкретной функции потерь и отражается двумя желательными свойствами оценщиков: несмещенностью и минимальной средней квадратичной ошибкой (МКO). Эти свойства не могут быть удовлетворены одновременно в общем случае: несмещенный оценщик может иметь меньшую среднюю квадратичную ошибку, чем любой смещенный оценщик (см. смещение оценщика). Существует функция, связывающая среднюю квадратичную ошибку со смещением оценщика. Первый член представляет среднюю квадратичную ошибку, второй – квадрат смещения оценщика, а третий – дисперсию выборки. Качество оценщика можно оценить, сравнивая дисперсию, квадрат смещения оценщика или МКО. Дисперсия хорошего оценщика (с высокой эффективностью) будет меньше дисперсии плохого оценщика (с низкой эффективностью). Квадрат смещения хорошего оценщика будет меньше квадрата смещения плохого оценщика. МКО хорошего оценщика будет меньше МКО плохого оценщика. Предположим, есть два оценщика: хороший оценщик и плохой оценщик. Описанное соотношение можно выразить следующими формулами. Помимо использования формул для оценки эффективности оценщика, ее можно определить графически. Если оценщик эффективен, на графике частоты от значения будет кривая с высоким пиком в центре и низкими значениями по бокам. Например: если оценщик не эффективен, график частоты от значения будет представлять собой более пологую кривую. Проще говоря, хороший оценщик имеет узкую кривую, а плохой – широкую. Если построить обе кривые на одном графике с общей осью Y, разница станет более очевидной. Среди несмещенных оценщиков часто существует один с минимальной дисперсией, называемый оценщиком с минимальной дисперсией и несмещенным (MVUE). В некоторых случаях существует эффективный несмещенный оценщик, который, помимо минимальной дисперсии среди несмещенных оценщиков, удовлетворяет границе Крамера – Рао, являющейся абсолютной нижней границей дисперсии для статистики переменной. Подробнее о таких "наилучших несмещенных оценщиках" см. также границу Крамера – Рао, теорему Гаусса – Маркова, теорему Лемана – Шеффе, теорему Рао – Блэквелла.

The efficiency of an estimator is used to estimate the quantity of interest in a "minimum error" manner. In reality, there is not an explicit best estimator; there can only be a better estimator. The good or not of the efficiency of an estimator is based on the choice of a particular loss function, and it is reflected by two naturally desirable properties of estimators: to be unbiased and have minimal mean squared error (MSE) These cannot in general both be satisfied simultaneously: an unbiased estimator may have a lower mean squared error than any biased estimator (see estimator bias). A function relates the mean squared error with the estimator bias. The first term represents the mean squared error; the second term represents the square of the estimator bias; and the third term represents the variance of the sample. The quality of the estimator can be identified from the comparison between the variance, the square of the estimator bias, or the MSE. The variance of the good estimator (good efficiency) would be smaller than the variance of the bad estimator (bad efficiency). The square of an estimator bias with a good estimator would be smaller than the estimator bias with a bad estimator. The MSE of a good estimator would be smaller than the MSE of the bad estimator. Suppose there are two estimator, is the good estimator and is the bad estimator. The above relationship can be expressed by the following formulas. Besides using formula to identify the efficiency of the estimator, it can also be identified through the graph. If an estimator is efficient, in the frequency vs. value graph, there will be a curve with high frequency at the center and low frequency on the two sides. For example:

If an estimator is not efficient, the frequency vs. value graph, there will be a relatively more gentle curve. To put it simply, the good estimator has a narrow curve, while the bad estimator has a large curve. Plotting these two curves on one graph with a shared y axis, the difference becomes more obvious. Among unbiased estimators, there often exists one with the lowest variance, called the minimum variance unbiased estimator (MVUE). In some cases an unbiased efficient estimator exists, which, in addition to having the lowest variance among unbiased estimators, satisfies the Cramér–Rao bound, which is an absolute lower bound on variance for statistics of a variable. Concerning such "best unbiased estimators", see also Cramér–Rao bound, Gauss–Markov theorem, Lehmann–Scheffé theorem, Rao–Blackwell theorem.