Сравнивайте с английским: нажмите на абзац — оригинал откроется в окне. Кнопка EN под абзацем показывает его прямо в тексте.
Содержание
Введение
В теории вероятностей и статистике расхождение Дженсена — Шеннона — это метод измерения степени различия между двумя распределениями вероятностей. Оно также известно как информационный радиус (IRad) или полное расхождение до среднего. Оно основано на расхождении Кулльбака — Лейблера, но имеет ряд существенных (и полезных) отличий, включая симметричность и всегда конечное значение. Квадратный корень из расхождения Дженсена — Шеннона является метрикой, часто называемой расстоянием Дженсена — Шеннона. Чем ближе расстояние Дженсена — Шеннона к нулю, тем больше сходство между распределениями.
Statistical distance measure
In probability theory and statistics, the Jensen–Shannon divergence is a method of measuring the similarity between two probability distributions. It is also known as information radius (IRad) or total divergence to the average. It is based on the Kullback–Leibler divergence, with some notable (and useful) differences, including that it is symmetric and it always has a finite value. The square root of the Jensen–Shannon divergence is a metric often referred to as Jensen–Shannon distance. The similarity between the distributions is greater when the Jensen Shannon distance is closer to zero.
Квантовая дивергенция Дженсена-Шеннона
Обобщение распределений вероятностей на матрицы плотности позволяет определить квантовую дивергенцию Дженсена — Шеннона (QJSD). Она определяется для набора матриц плотности и распределения вероятностей как
The generalization of probability distributions on density matrices allows to define quantum Jensen–Shannon divergence (QJSD). It is defined for a set of density matrices and a probability distribution as
где — энтропия фон Неймана матрицы плотности. Эта величина была введена в квантовой теории информации, где она называется информацией Холево: она дает верхнюю границу для количества классической информации, закодированной квантовыми состояниями при априорном распределении (см. теорему Холево). Квантовая дивергенция Дженсена — Шеннона для и двух матриц плотности является симметричной функцией, всюду определенной, ограниченной и равной нулю только в том случае, если две матрицы плотности совпадают. Она является квадратом метрики для чистых состояний, и недавно было показано, что это метрическое свойство справедливо и для смешанных состояний. Метрика Буреса тесно связана с квантовой дивергенцией Дженсена — Шеннона; она является квантовым аналогом информационной метрики Фишера.
where is the von Neumann entropy of This quantity was introduced in quantum information theory, where it is called the Holevo information: it gives the upper bound for amount of classical information encoded by the quantum states under the prior distribution (see Holevo's theorem). Quantum Jensen–Shannon divergence for and two density matrices is a symmetric function, everywhere defined, bounded and equal to zero only if two density matrices are the same. It is a square of a metric for pure states, and it was recently shown that this metric property holds for mixed states as well. The Bures metric is closely related to the quantum JS divergence; it is the quantum analog of the Fisher information metric.
Приложения
Дивергенция Дженсен-Шеннон нашла применение в биоинформатике и сравнении геномов, в сравнении поверхностей белков, в социальных науках, в количественном изучении истории, в проведении огневых экспериментов и в машинном обучении.
The Jensen–Shannon divergence has been applied in bioinformatics and genome comparison, in protein surface comparison, in the social sciences, in the quantitative study of history, in fire experiments, and in machine learning.