Введение

Неинформативное априорное распределение
В байесовской вероятности, априорное распределение Джеффриса, названное в честь сэра Гарольда Джеффриса, является неинформативным априорным распределением для пространства параметров; его функция плотности пропорциональна квадратному корню из определителя информационной матрицы Фишера:

Его ключевая особенность заключается в инвариантности относительно изменения координат для вектора параметров. То есть, относительная вероятность, присвоенная объему вероятностного пространства при использовании априорного распределения Джеффриса, останется неизменной, независимо от параметризации, используемой для определения этого априорного распределения. Это делает его особенно интересным для использования с масштабными параметрами. В качестве конкретного примера, распределение Бернулли может быть параметризовано вероятностью наступления события, или отношением шансов. Наивное равномерное априорное распределение в этом случае не является инвариантным к такой репараметризации, в то время как априорное распределение Джеффриса – является. В максимальном правдоподобии для экспоненциальных семейств моделей было показано, что штрафные члены, основанные на априорном распределении Джеффриса, уменьшают асимптотическую смещенность точечных оценок.

Атрибуты

С практической и математической точек зрения, веская причина использовать этот неинформативный априорный распределение вместо других, например, тех, которые получаются как предел в сопряженных семействах распределений, заключается в том, что относительная вероятность объема вероятностного пространства не зависит от выбранного набора параметрических переменных для описания пространства параметров. Иногда априорное распределение Джеффриса не может быть нормализовано и, следовательно, является несобственным. Например, априорное распределение Джеффриса для среднего распределения является равномерным на всей вещественной прямой в случае гауссовского распределения с известной дисперсией. Использование априорного распределения Джеффриса нарушает строгую версию принципа правдоподобия, которая принимается многими, но далеко не всеми статистиками. При использовании априорного распределения Джеффриса выводы о зависят не только от вероятности наблюдаемых данных как функции , но и от множества всех возможных экспериментальных результатов, определяемого схемой эксперимента, поскольку информация Фишера вычисляется как математическое ожидание по выбранному множеству. Следовательно, априорное распределение Джеффриса и, как следствие, выводы, сделанные с его использованием, могут различаться для двух экспериментов с одним и тем же параметром, даже если функции правдоподобия для этих двух экспериментов одинаковы – что является нарушением строгого принципа правдоподобия.

Минимальная длина описания

В подходе к статистике с минимальной длиной описания целью является описание данных максимально компактно, при этом длина описания измеряется в битах используемого кода. Для параметрического семейства распределений код сравнивается с наилучшим кодом, основанным на одном из распределений в параметризованном семействе. Основной результат заключается в том, что в экспоненциальных семействах, асимптотически при большом объеме выборки, код, основанный на распределении, являющемся смесью элементов экспоненциального семейства с априорным распределением Джеффриса, является оптимальным. Этот результат верен, если множество параметров ограничено компактным подмножеством во внутренней области полного пространства параметров. Если используется полное пространство параметров, следует применять модифицированную версию результата.

Примеры

Априорное распределение Джеффриса для параметра (или набора параметров) зависит от статистической модели.

Процесс Бернулли

Для монеты, которая выпадает "орлом" с вероятностью *p* и "решкой" с вероятностью 1-*p*, для заданного *p* вероятность равна. Априорное распределение Джеффриса для параметра *p* равно

Это распределение арксинуса, и оно также является бета-распределением с параметрами 1/2 и 1/2. Кроме того, если *p* = 1/2, то

То есть, априорное распределение Джеффриса для *p* равномерно на интервале [0, 1]. Эквивалентно, угол θ, соответствующий *p* = sin²(θ/2), равномерно распределен на всей окружности.

N-сторонняя фигура с предвзятыми вероятностями

Аналогичным образом, для броска N-сторонней кости с вероятностями исходов p₁, p₂, ..., pN, где каждое pᵢ неотрицательно и удовлетворяет условию Σpᵢ = 1, априорное распределение Джеффриса для вектора p = (p₁, p₂, ..., pN) является распределением Дирихле со всеми (альфа) параметрами, равными одной второй. Это эквивалентно использованию псевдосчета, равного половине, для каждого возможного исхода. Эквивалентно, если мы запишем pᵢ для каждого i от 1 до N, то априорное распределение Джеффриса для p равномерно распределено на (N-1)-мерной единичной сфере (то есть, оно равномерно распределено на поверхности N-мерного единичного шара).

Вероятность соответствия

В 1963 году Уэлч и Пирс показали, что для скалярного параметра θ априорное распределение Джеффриса обладает свойством "соответствия вероятностей" в том смысле, что апостериорные предсказательные вероятности совпадают с частотными вероятностями, а доверительные интервалы заданной ширины – с частотными доверительными интервалами. В последующей работе Пирс показал, что это не выполняется для многопараметрического случая, что привело к понятию априорных распределений, обеспечивающих соответствие вероятностей, которые определяются неявно как распределение вероятностей, являющееся решением определенного частного дифференциального уравнения, включающего информацию Фишера.

α-параллельный предшественник

Используя инструменты информационной геометрии, априорное распределение Джеффриса можно обобщить для получения априорных распределений, кодирующих геометрическую информацию статистической модели и инвариантных относительно изменения параметризации. Частным случаем является так называемое вейлевское априорное распределение, которое определяется как объёмная форма на вейлевском многообразии.