Кіріспе
Статистикада және ақпарат теориясында ең жоғарғы энтропиялы ықтималдық үлестірімі – белгілі бір ықтималдық үлестірімі класындағы барлық басқа мүшелердің энтропиясынан кем емес энтропияға ие болатын ықтималдық үлестірімі. Ең жоғарғы энтропия принципіне сәйкес, егер таралым туралы белгілі бір кластың құрамына кіретіндігінен басқа ештеңе белгісіз болса (әдетте, белгілі бір қасиеттері немесе шаралары арқылы анықталады), онда ең үлкен энтропияға ие таралым ең аз ақпараттық мәнді бастапқы нұсқа ретінде таңдалуы тиіс. Бұл екі себепке байланысты: біріншіден, энтропияны максималдау таралымға енгізілген алдыңғы ақпарат мөлшерін азайтады; екіншіден, көптеген физикалық жүйелер уақыт өте келе максималды энтропиялық конфигурацияларға қарай өзгереді.
In statistics and information theory, a maximum entropy probability distribution has entropy that is at least as great as that of all other members of a specified class of probability distributions. According to the principle of maximum entropy, if nothing is known about a distribution except that it belongs to a certain class (usually defined in terms of specified properties or measures), then the distribution with the largest entropy should be chosen as the least informative default. The motivation is twofold: first, maximizing entropy minimizes the amount of prior information built into the distribution; second, many physical systems tend to move towards maximal entropy configurations over time.
Өлшенген тұрақтылармен үлестірулер
Қолданылатын көптеген статистикалық үлестірулердің моменттері немесе басқа да өлшенетін шамалары тұрақты шамалармен шектелген болады. Людвиг Болцманның келесі теоремасы осы шектеулер аясындағы ықтималдық тығыздығының түрін анықтайды.
Қақпақтар
Барлық үлестірімдер кластарының ішінде ең жоғары энтропиялы үлестірім болуы міндетті емес. Мүмкін, бір класс кез келген үлкен энтропияға ие үлестірімдерді қамтуы мүмкін (мысалы, R-дегі орташасы 0, бірақ кез келген стандартты қатеуі бар барлық үздіксіз үлестірімдер класы), немесе энтропиялар жоғарыдан шектелген болуы мүмкін, бірақ ең жоғары энтропияға жететін үлестірім табылмауы мүмкін. Сонымен қатар, C класы үшін күтілетін мәнге қойылған шектеулер, ықтималдық үлестірімін S жиынының белгілі бір кіші жиынтықтарында нөлге дейін азайтуы мүмкін. Мұндай жағдайда біздің теоремамыз қолданылмайды, бірақ S жиынын тарылту арқылы оны шешіп көруге болады.
Біркелкі және біркелкі бөліктері бойынша үлестіру
[a, b] аралығындағы біркелкі таралу – [a, b] аралығында қолдау табатын барлық үздіксіз таралымдардың арасындағы ең жоғары энтропиялы таралу, сондықтан ықтималдық тығыздығы аралықтың сыртында 0-ге тең болады. Бұл біркелкі тығыздық Лапластың бейтараптық принципімен байланысты, кейде оны жеткіліксіз себеп принципі деп те атайды. Жалпы алғанда, егер бізге [a, b] аралығының a=a0 < a1 < … < ak = b түріндегі бөлінісі және p1, …, pk ықтималдықтары берілсе, олардың қосындысы бірге тең болса, онда біз барлық үздіксіз таралымдар класын қарастыра аламыз. Осы кластағы ең жоғары энтропиялы таралудың тығыздығы [aj-1, aj) әрбір аралықта тұрақты болады. {x1, …, xn} шекті жиынтығындағы біркелкі таралу (осы мәндердің әрқайсысына 1/n ықтималдығын тағайындайды) – осы жиынтықта қолдау табатын барлық дискретті таралымдардың арасындағы ең жоғары энтропиялы таралу болып табылады.
The density of the maximum entropy distribution for this class is constant on each of the intervals [aj 1,aj). The uniform distribution on the finite set {x1, ,xn} (which assigns a probability of 1/n to each of these values) is the maximum entropy distribution among all discrete distributions supported on this set.