Введение

В статистике статистическая величина является достаточной относительно статистической модели и связанного с ней неизвестного параметра, если "никакая другая величина, вычисляемая по той же выборке, не предоставляет дополнительной информации о значении параметра". В частности, статистическая величина достаточна для семейства распределений вероятностей, если выборка, на основе которой она вычислена, не содержит дополнительной информации относительно того, какое из этих распределений вероятностей является распределением выборки, по сравнению с самой этой величиной. Связанным понятием является линейная достаточность, которая является более слабым условием, чем достаточность, но может быть применена в некоторых случаях, когда не существует достаточной статистической величины, хотя она ограничена линейными оценками. Функция структуры Колмогорова имеет дело с отдельными конечными данными; соответствующим понятием в этом случае является алгоритмически достаточная статистическая величина. Эта концепция была предложена сэром Рональдом Фишером в 1920 году. Стивен Стиглер отметил в 1973 году, что концепция достаточности потеряла популярность в описательной статистике из-за сильной зависимости от предположения о форме распределения (см. теорему Питмана — Купмана — Дармоа ниже), но оставалась очень важной в теоретических исследованиях.

Предыстория

Примерно, при заданном наборе независимых одинаково распределенных данных, обусловленных неизвестным параметром θ, достаточной статистикой является функция T, значение которой содержит всю информацию, необходимую для вычисления любой оценки параметра (например, оценки максимального правдоподобия). В силу теоремы о факторизации (см. ниже), для достаточной статистики T, функция плотности вероятности может быть записана как p(x; θ) = g(T(x); θ)h(x). Из этой факторизации легко видно, что оценка максимального правдоподобия θ будет взаимодействовать с данными x только через T(x). Как правило, достаточная статистика является простой функцией данных, например, суммой всех точек данных. В более общем случае, "неизвестный параметр" может представлять собой вектор неизвестных величин или может представлять все, что неизвестно или не полностью определено в модели. В таком случае достаточной статистикой может быть набор функций, называемый совместно достаточной статистикой. Обычно число функций равно числу параметров. Например, для гауссовского распределения с неизвестным средним и дисперсией, совместно достаточная статистика, на основе которой можно оценить оценки максимального правдоподобия обоих параметров, состоит из двух функций: суммы всех точек данных и суммы квадратов всех точек данных (или, эквивалентно, выборочного среднего и выборочной дисперсии). Иными словами, совместное распределение вероятностей данных условно независимо от параметра при заданном значении достаточной статистики для этого параметра. Как сама статистика, так и базовый параметр могут быть векторами.

Математическое определение

Статистика t = T(X) достаточна для базового параметра θ тогда и только тогда, когда условное распределение вероятности данных X при заданном значении статистики t = T(X) не зависит от параметра θ.

В качестве альтернативы, можно сказать, что статистика T(X) достаточна для θ, если для всех априорных распределений на θ взаимная информация между θ и T(X) равна взаимной информации между θ и X. Иными словами, неравенство обработки данных превращается в равенство:

Пример

В качестве примера, выборочное среднее достаточно для оценки среднего (μ) нормального распределения с известной дисперсией. Как только выборочное среднее известно, из самой выборки нельзя получить никакой дополнительной информации о μ. С другой стороны, для произвольного распределения медиана недостаточна для оценки среднего: даже если медиана выборки известна, знание самой выборки предоставит дополнительную информацию о среднем значении в генеральной совокупности. Например, если значения, меньшие медианы, лишь незначительно меньше, а значения, превышающие медиану, значительно больше, то это повлияет на выводы о среднем значении генеральной совокупности.

Интерпретация принципа вероятности

Следствием теоремы является то, что при использовании статистического вывода, основанного на функции правдоподобия, два набора данных, дающие одинаковое значение достаточной статистики T(X), всегда приведут к одним и тем же выводам относительно θ. Согласно критерию факторизации, зависимость функции правдоподобия от θ определяется только совместно со значением T(X). Поскольку в обоих случаях это значение одинаково, зависимость от θ также будет одинаковой, что и приведет к идентичным выводам.

Теорема Рао Блэквелл

Достаточность находит полезное применение в теореме Рао — Блэквелла, которая утверждает, что если g(X) является любым оценщиком θ, то, как правило, условное математическое ожидание g(X) при заданном достаточном статистике T(X) является лучшим (в смысле меньшей дисперсии) оценщиком θ и никогда не хуже. Иногда можно очень легко построить весьма грубый оценщик g(X), а затем вычислить его условное математическое ожидание, чтобы получить оценщик, который во многих отношениях является оптимальным.

Экспоненциальная семья

Согласно теореме Питмана — Купмана — Дармоа, среди семейств распределений вероятностей, область определения которых не зависит от оцениваемого параметра, только в экспоненциальных семействах существует достаточная статистика, размерность которой остаётся ограниченной при увеличении объёма выборки. Интуитивно это означает, что неэкспоненциальные семейства распределений на вещественной прямой требуют непараметрических статистик для полного извлечения информации из данных. Более развёрнуто, предположим, что — независимые одинаково распределённые вещественные случайные величины, распределение которых известно, что принадлежит некоторому семейству распределений вероятностей, параметризованному , удовлетворяющему определённым техническим условиям регулярности. Тогда это семейство является экспоненциальным тогда и только тогда, когда существует -значная достаточная статистика , число скалярных компонент которой не увеличивается с ростом объёма выборки n. Эта теорема показывает, что существование конечномерной, вещественнозначной достаточной статистики существенно ограничивает возможные формы семейства распределений на вещественной прямой. Если параметры или случайные величины перестают быть вещественными, ситуация становится более сложной.

Линейная достаточность

Понятие, называемое "линейной достаточностью", может быть сформулировано в байесовском контексте и в более общем случае. Сначала определим лучший линейный предиктор вектора Y на основе X как Затем линейная статистика T(x) является линейно достаточной, если