Введение
Метрика на гладком статистическом многообразии
In information geometry, the Fisher information metric is a particular Riemannian metric which can be defined on a smooth statistical manifold, i. e., a smooth manifold whose points are probability measures defined on a common probability space. It can be used to calculate the informational difference between measurements. The metric is interesting in several aspects. By Chentsov’s theorem, the Fisher information metric on statistical models is the only Riemannian metric (up to rescaling) that is invariant under sufficient statistics. It can also be understood to be the infinitesimal form of the relative entropy (i. e., the Kullback–Leibler divergence); specifically, it is the Hessian of the divergence. Alternately, it can be understood as the metric induced by the flat space Euclidean metric, after appropriate changes of variable. When extended to complex projective Hilbert space, it becomes the Fubini–Study metric; when written in terms of mixed states, it is the quantum Bures metric. Considered purely as a matrix, it is known as the Fisher information matrix. Considered as a measurement technique, where it is used to estimate hidden parameters in terms of observed random variables, it is known as the observed information.
В информационной геометрии информационная метрика Фишера — это конкретная риманова метрика, которую можно определить на гладком статистическом многообразии, то есть на гладком многообразии, чьи точки являются мерами вероятности, заданными на общем вероятностном пространстве. Она может быть использована для вычисления информационной разницы между измерениями. Эта метрика представляет интерес в нескольких аспектах. Согласно теореме Ченцова, информационная метрика Фишера на статистических моделях является единственной римановой метрикой (с точностью до масштабирования), инвариантной относительно достаточных статистик. Её также можно рассматривать как бесконечно малую форму относительной энтропии (то есть расхождения Калбака — Лейблера); в частности, это гессиан расхождения. В качестве альтернативы, её можно понимать как метрику, индуцированную евклидовой метрикой плоского пространства после соответствующих изменений переменных. При расширении на комплексное проективное гильбертово пространство она становится метрикой Фубини — Стьюди; при записи в терминах смешанных состояний она является квантовой метрикой Бюреса. Рассматриваемая как матрица, она известна как информационная матрица Фишера. Рассматриваемая как метод оценки, используемый для оценки скрытых параметров на основе наблюдаемых случайных величин, она известна как наблюдаемая информация.
In information geometry, the Fisher information metric is a particular Riemannian metric which can be defined on a smooth statistical manifold, i. e., a smooth manifold whose points are probability measures defined on a common probability space. It can be used to calculate the informational difference between measurements. The metric is interesting in several aspects. By Chentsov’s theorem, the Fisher information metric on statistical models is the only Riemannian metric (up to rescaling) that is invariant under sufficient statistics. It can also be understood to be the infinitesimal form of the relative entropy (i. e., the Kullback–Leibler divergence); specifically, it is the Hessian of the divergence. Alternately, it can be understood as the metric induced by the flat space Euclidean metric, after appropriate changes of variable. When extended to complex projective Hilbert space, it becomes the Fubini–Study metric; when written in terms of mixed states, it is the quantum Bures metric. Considered purely as a matrix, it is known as the Fisher information matrix. Considered as a measurement technique, where it is used to estimate hidden parameters in terms of observed random variables, it is known as the observed information.
Отношение к расхождению KullbackLeibler
В качестве альтернативы, метрика может быть получена как вторая производная относительной энтропии или расхождения Кульбака — Лейблера. Для этого рассматриваются два вероятностных распределения, P и Q, которые бесконечно близки друг к другу, так что
с бесконечно малым изменением P в направлении j. Поскольку расхождение Кульбака — Лейблера имеет абсолютный минимум, равный 0, при P = Q, можно представить разложение до второго порядка в виде:
Симметричная матрица является положительно (полу)определенной и представляет собой гессиан функции расхождения Кульбака — Лейблера в точке экстремума. Это можно интуитивно понимать так: "Расстояние между двумя бесконечно близкими точками на статистическом дифференциальном многообразии равно информационной разнице между ними."
Отношение к геометрии Руппейнера
Метрики Руппейнера и Вайнхольда — это метрика Фишера, вычисленная для распределений Гиббса, подобно тем, что используются в статистической механике равновесия.