Введение
Тип "хорошего" правила принятия решений в байесовской статистике
В теории статистического принятия решений допустимое правило принятия решений — это правило, согласно которому не существует другого правила, которое всегда было бы "лучше" (или хотя бы иногда лучше, но никогда не хуже) в точном смысле, определенном ниже. Эта концепция аналогична эффективности Парето.
Правила Бейса
Пусть – распределение вероятностей по состояниям природы. С байесовской точки зрения, мы рассматриваем его как априорное распределение. То есть, это наше представление о распределении вероятностей состояний природы до получения данных. Для частотника это лишь функция на , не имеющая такой специальной интерпретации. Байесовский риск правила принятия решений относительно – это математическое ожидание
Правило принятия решений , минимизирующее , называется правилом Байеса относительно . Таких правил Байеса может быть несколько. Если байесовский риск бесконечен для всех , то правило Байеса не определено.
Обобщенные правила Байеса
В байесовском подходе к теории решений наблюдаемое считается фиксированным. В то время как частотный подход (т.е. риск) усредняет по возможным выборкам, байесовский подход фиксирует наблюдаемую выборку и усредняет по гипотезам. Таким образом, байесовский подход заключается в рассмотрении для нашего наблюдаемого ожидаемой потери, где ожидание берется по апостериорному распределению данного (полученному из и с использованием теоремы Байеса). Явно определив ожидаемую потерю для каждого отдельно, мы можем определить правило принятия решений, указав для каждого действия, которое минимизирует ожидаемую потерю. Это известно как обобщенное правило Байеса относительно . Может существовать более одного обобщенного правила Байеса, поскольку может быть несколько вариантов, достигающих одинаковой ожидаемой потери. На первый взгляд, это может показаться довольно отличным от подхода правила Байеса из предыдущего раздела, а не обобщением. Однако обратите внимание, что байесовский риск уже усредняется байесовским образом, и байесовский риск может быть восстановлен как ожидание по апостериорному распределению ожидаемой потери (где и ). Грубо говоря, минимизирует это ожидание ожидаемой потери (т.е. является правилом Байеса) тогда и только тогда, когда он минимизирует ожидаемую потерю для каждого отдельно (т.е. является обобщенным правилом Байеса). Тогда почему понятие обобщенного правила Байеса является улучшением? Оно действительно эквивалентно понятию правила Байеса, когда правило Байеса существует и все имеют положительную вероятность. Однако правило Байеса не существует, если байесовский риск бесконечен (для всех ). В этом случае все еще полезно определить обобщенное правило Байеса , которое по крайней мере выбирает действие с минимальной ожидаемой потерей для тех , для которых существует действие с конечной ожидаемой потерей. Кроме того, обобщенное правило Байеса может быть предпочтительным, поскольку оно должно выбрать действие с минимальной ожидаемой потерей для каждого , в то время как правило Байеса может отклоняться от этой политики на множестве меры 0, не влияя на байесовский риск. Более того, иногда удобно использовать несобственный априорный. В этом случае байесовский риск даже не определен, и нет четко определенного распределения по . Однако апостериорное распределение — и, следовательно, ожидаемая потеря — может быть хорошо определено для каждого , так что все еще возможно определить обобщенное правило Байеса.
where the expectation is over the posterior of given (obtained from and using Bayes' theorem). Having made explicit the expected loss for each given separately, we can define a decision rule by specifying for each an action that minimizes the expected loss. This is known as a generalized Bayes rule with respect to There may be more than one generalized Bayes rule, since there may be multiple choices of that achieve the same expected loss. At first, this may appear rather different from the Bayes rule approach of the previous section, not a generalization. However, notice that the Bayes risk already averages over in Bayesian fashion, and the Bayes risk may be recovered as the expectation over of the expected loss (where and ). Roughly speaking, minimizes this expectation of expected loss (i. e., is a Bayes rule) if and only if it minimizes the expected loss for each separately (i. e., is a generalized Bayes rule). Then why is the notion of generalized Bayes rule an improvement? It is indeed equivalent to the notion of Bayes rule when a Bayes rule exists and all have positive probability. However, no Bayes rule exists if the Bayes risk is infinite (for all ). In this case it is still useful to define a generalized Bayes rule , which at least chooses a minimum expected loss action for those for which a finite expected loss action does exist. In addition, a generalized Bayes rule may be desirable because it must choose a minimum expected loss action for every , whereas a Bayes rule would be allowed to deviate from this policy on a set of measure 0 without affecting the Bayes risk. More important, it is sometimes convenient to use an improper prior In this case, the Bayes risk is not even well defined, nor is there any well defined distribution over However, the posterior —and hence the expected loss—may be well defined for each , so that it is still possible to define a generalized Bayes rule.
Допустимость (обобщенных) правил Байеса
Согласно полным теоремам о классах, при умеренных условиях каждое допустимое правило является (обобщённым) правилом Байеса (относительно некоторого априорного распределения — возможно, несобственного — которое благоприятствует распределениям, в которых это правило достигает низкого риска). Таким образом, в частотной теории принятия решений достаточно рассматривать только (обобщённые) правила Байеса. И наоборот, хотя правила Байеса относительно собственных априорных распределений практически всегда допустимы, обобщённые правила Байеса, соответствующие несобственным априорным распределениям, не обязательно приводят к допустимым процедурам. Пример Штейна — одна из таких известных ситуаций.
Примеры
Оценщик Джеймса — Стейна — это нелинейный оценщик среднего значения гауссовских случайных векторов, который превосходит метод наименьших квадратов с точки зрения функции потерь, основанной на среднеквадратичной ошибке. Следовательно, оценка методом наименьших квадратов не является допустимой процедурой оценки в данном случае. Некоторые другие стандартные оценки, связанные с нормальным распределением, также являются недопустимыми: например, выборочная оценка дисперсии при неизвестном среднем и дисперсии генеральной совокупности.