Распределение максимальной энтропии: определение, принцип выбора, минимизация априорной информации и связь с физическими системами. Статистика и теория информации.
Сравнивайте с английским: нажмите на абзац — оригинал откроется в окне. Кнопка EN под абзацем показывает его прямо в тексте.
Содержание
Введение
Распределение вероятности, обладающее наибольшей энтропией в классе.
Probability distribution that has the most entropy of a class
В статистике и теории информации распределение вероятности с максимальной энтропией имеет энтропию, не меньшую, чем у любого другого распределения из заданного класса распределений вероятности. Согласно принципу максимальной энтропии, если о распределении известно лишь то, что оно принадлежит к определенному классу (обычно определяемому заданными свойствами или мерами), то следует выбирать распределение с наибольшей энтропией в качестве наименее информативного по умолчанию. Это обусловлено двумя причинами: во-первых, максимизация энтропии минимизирует объем априорной информации, заложенной в распределение; во-вторых, многие физические системы со временем стремятся к состояниям с максимальной энтропией.
In statistics and information theory, a maximum entropy probability distribution has entropy that is at least as great as that of all other members of a specified class of probability distributions. According to the principle of maximum entropy, if nothing is known about a distribution except that it belongs to a certain class (usually defined in terms of specified properties or measures), then the distribution with the largest entropy should be chosen as the least informative default. The motivation is twofold: first, maximizing entropy minimizes the amount of prior information built into the distribution; second, many physical systems tend to move towards maximal entropy configurations over time.
Распределения с измеренными константами
Многие статистические распределения, представляющие практический интерес, характеризуются тем, что их моменты или другие измеримые величины ограничены постоянными значениями. Следующая теорема Людвига Больцмана определяет вид функции плотности вероятности при таких ограничениях.
Many statistical distributions of applicable interest are those for which the moments or other measurable quantities are constrained to be constants. The following theorem by Ludwig Boltzmann gives the form of the probability density under these constraints.
Кавеат
Обратите внимание, что не все классы распределений содержат распределение с максимальной энтропией. Возможно, что класс содержит распределения с произвольно большой энтропией (например, класс всех непрерывных распределений на R со средним значением 0, но произвольным стандартным отклонением), или что энтропии ограничены сверху, но не существует распределения, достигающего максимальной энтропии. Также возможно, что ограничения на математическое ожидание для класса C вынуждают распределение вероятностей быть равным нулю на определенных подмножествах S. В этом случае наша теорема неприменима, но можно обойти это, сузив множество S.
Note that not all classes of distributions contain a maximum entropy distribution. It is possible that a class contain distributions of arbitrarily large entropy (e. g. the class of all continuous distributions on R with mean 0 but arbitrary standard deviation), or that the entropies are bounded above but there is no distribution which attains the maximal entropy. It is also possible that the expected value restrictions for the class C force the probability distribution to be zero in certain subsets of S. In that case our theorem doesn't apply, but one can work around this by shrinking the set S.
Однородное и по кусочкам равномерное распределение
Однородное распределение на интервале [a, b] является распределением с максимальной энтропией среди всех непрерывных распределений, имеющих носитель на интервале [a, b], и, следовательно, его плотность вероятности равна 0 вне этого интервала. Эта равномерная плотность связана с принципом безразличия Лапласа, иногда называемым принципом недостаточного основания. В более общем случае, если задано разбиение a=a0 < a1 < ... < ak = b интервала [a,b] и вероятности p1, ..., pk, суммирующиеся в единицу, то можно рассмотреть класс всех непрерывных распределений, для которого плотность распределения с максимальной энтропией постоянна на каждом из интервалов [aj-1, aj). Однородное распределение на конечном множестве {x1, ..., xn} (которое присваивает вероятность 1/n каждому из этих значений) является распределением с максимальной энтропией среди всех дискретных распределений, имеющих носитель на этом множестве.
The uniform distribution on the interval [a,b] is the maximum entropy distribution among all continuous distributions which are supported in the interval [a, b], and thus the probability density is 0 outside of the interval. This uniform density can be related to Laplace's principle of indifference, sometimes called the principle of insufficient reason. More generally, if we are given a subdivision a=a0 < a1 < < ak = b of the interval [a,b] and probabilities p1, ,pk that add up to one, then we can consider the class of all continuous distributions such that
The density of the maximum entropy distribution for this class is constant on each of the intervals [aj 1,aj). The uniform distribution on the finite set {x1, ,xn} (which assigns a probability of 1/n to each of these values) is the maximum entropy distribution among all discrete distributions supported on this set.