Введение
Статистическая оценка, сходящаяся по вероятности к истинному параметру при увеличении размера выборки. В статистике, состоятельный оценщик или асимптотически состоятельный оценщик – это оценка, то есть правило вычисления оценок параметра θ₀, обладающая свойством, что при неограниченном увеличении количества используемых точек данных, получаемая последовательность оценок сходится по вероятности к θ₀. Это означает, что распределения оценок становятся все более и более сконцентрированными вблизи истинного значения оцениваемого параметра, так что вероятность того, что оценка будет сколь угодно близка к θ₀, стремится к единице. На практике оценщик строят как функцию доступной выборки размера n, а затем представляют себе возможность продолжать сбор данных и расширение выборки до бесконечности. Таким образом, получается последовательность оценок, индексированная n, и состоятельность – это свойство, проявляющееся при стремлении размера выборки к бесконечности. Если математически доказано, что последовательность оценок сходится по вероятности к истинному значению θ₀, то она называется состоятельным оценщиком; в противном случае оценщик считается несостоятельным. Состоятельность, как определено здесь, иногда называют слабой состоятельностью. Если заменить сходимость по вероятности на почти достоверную сходимость, то оценщик называется сильно состоятельным. Состоятельность связана со смещением; см. смещение и состоятельность.
In statistics, a consistent estimator or asymptotically consistent estimator is an estimator—a rule for computing estimates of a parameter θ0—having the property that as the number of data points used increases indefinitely, the resulting sequence of estimates converges in probability to θ0. This means that the distributions of the estimates become more and more concentrated near the true value of the parameter being estimated, so that the probability of the estimator being arbitrarily close to θ0 converges to one. In practice one constructs an estimator as a function of an available sample of size n, and then imagines being able to keep collecting data and expanding the sample ad infinitum. In this way one would obtain a sequence of estimates indexed by n, and consistency is a property of what occurs as the sample size “grows to infinity”. If the sequence of estimates can be mathematically shown to converge in probability to the true value θ0, it is called a consistent estimator; otherwise the estimator is said to be inconsistent. Consistency as defined here is sometimes referred to as weak consistency. When we replace convergence in probability with almost sure convergence, then the estimator is said to be strongly consistent. Consistency is related to bias; see bias versus consistency.
Средняя величина выборки нормальной случайной переменной
Предположим, что имеется последовательность статистически независимых наблюдений {X1, X2, …} из нормального распределения N(μ, σ2). Для оценки μ на основе первых n наблюдений можно использовать выборочное среднее: Tn = (X1 + … + Xn)/n. Это определяет последовательность оценок, индексированных размером выборки n.
Из свойств нормального распределения мы знаем распределение выборки этой статистики: Tn само нормально распределено, со средним μ и дисперсией σ2/n. Эквивалентно, имеет стандартное нормальное распределение:
при n стремящемся к бесконечности, для любого фиксированного ε > 0. Следовательно, последовательность Tn выборочных средних является состоятельной оценкой для генерального среднего μ (напоминая, что – это функция кумулятивного распределения нормального распределения).
Непредвзятый, но не последовательный
Оценщик может быть несмещенным, но не состоятельным. Например, для независимой и одинаково распределенной выборки {x₁, …, xₙ} можно использовать T(X) = xₙ в качестве оценщика среднего значения E[X]. Обратите внимание, что здесь выборочное распределение T совпадает с исходным распределением (для любого n, поскольку оно учитывает только последнюю точку), поэтому E[T(X)] = E[X] и оно несмещенно, но не сходится ни к какому значению. Однако, если последовательность оценщиков несмещенна и сходится к значению, то она является состоятельной, поскольку должна сходиться к истинному значению.
Склонность к ошибкам
В качестве альтернативы, оценщик может быть смещённым, но состоятельным. Например, если среднее оценивается как , то оно смещено, но при оно приближается к истинному значению, и, следовательно, является состоятельным. Важными примерами являются выборочная дисперсия и выборочное стандартное отклонение. Без поправки Бесселя (то есть при использовании размера выборки вместо степеней свободы), оба эти оценщика являются отрицательно смещёнными, но состоятельными. С поправкой, поправленная выборочная дисперсия является несмещённой, в то время как поправленное выборочное стандартное отклонение остаётся смещённым, но в меньшей степени, и оба они по-прежнему состоятельны: коэффициент поправки стремится к 1 при увеличении размера выборки. Вот ещё один пример. Пусть будет последовательностью оценщиков для . Мы видим, что , , и смещение не стремится к нулю.
We can see that , , and the bias does not converge to zero.