Введение

Распределение вероятности, обладающее наибольшей энтропией в классе.

В статистике и теории информации распределение вероятности с максимальной энтропией имеет энтропию, не меньшую, чем у любого другого распределения из заданного класса распределений вероятности. Согласно принципу максимальной энтропии, если о распределении известно лишь то, что оно принадлежит к определенному классу (обычно определяемому заданными свойствами или мерами), то следует выбирать распределение с наибольшей энтропией в качестве наименее информативного по умолчанию. Это обусловлено двумя причинами: во-первых, максимизация энтропии минимизирует объем априорной информации, заложенной в распределение; во-вторых, многие физические системы со временем стремятся к состояниям с максимальной энтропией.

Распределения с измеренными константами

Многие статистические распределения, представляющие практический интерес, характеризуются тем, что их моменты или другие измеримые величины ограничены постоянными значениями. Следующая теорема Людвига Больцмана определяет вид функции плотности вероятности при таких ограничениях.

Кавеат

Обратите внимание, что не все классы распределений содержат распределение с максимальной энтропией. Возможно, что класс содержит распределения с произвольно большой энтропией (например, класс всех непрерывных распределений на R со средним значением 0, но произвольным стандартным отклонением), или что энтропии ограничены сверху, но не существует распределения, достигающего максимальной энтропии. Также возможно, что ограничения на математическое ожидание для класса C вынуждают распределение вероятностей быть равным нулю на определенных подмножествах S. В этом случае наша теорема неприменима, но можно обойти это, сузив множество S.

Однородное и по кусочкам равномерное распределение

Однородное распределение на интервале [a, b] является распределением с максимальной энтропией среди всех непрерывных распределений, имеющих носитель на интервале [a, b], и, следовательно, его плотность вероятности равна 0 вне этого интервала. Эта равномерная плотность связана с принципом безразличия Лапласа, иногда называемым принципом недостаточного основания. В более общем случае, если задано разбиение a=a0 < a1 < ... < ak = b интервала [a,b] и вероятности p1, ..., pk, суммирующиеся в единицу, то можно рассмотреть класс всех непрерывных распределений, для которого плотность распределения с максимальной энтропией постоянна на каждом из интервалов [aj-1, aj). Однородное распределение на конечном множестве {x1, ..., xn} (которое присваивает вероятность 1/n каждому из этих значений) является распределением с максимальной энтропией среди всех дискретных распределений, имеющих носитель на этом множестве.