Ақпараттық теорияның термодинамика мен статистикалық механикада қолданылуы

Кіріспе

Ақпарат теориясының термодинамика мен статистикалық механикаға қолданылуы. Физикада максималды энтропия термодинамикасы (көбінесе MaxEnt термодинамикасы деп аталады) тепе-теңдік термодинамикасы мен статистикалық механиканы инференция процестері ретінде қарастырады. Нақтырақ айтқанда, MaxEnt Шеннон ақпарат теориясының, Байес ықтималдығының және максималды энтропия принципінің негізінде құрылған инференция әдістерін қолданады. Бұл әдістер толық емес немесе жеткіліксіз деректерден болжам жасау қажет болатын кез келген жағдайға қатысты (мысалы, кескіндерді қайта құру, сигналды өңдеу, спектрлік талдау және кері есептер). MaxEnt термодинамикасы Эдвин Т. Джейнстің 1957 жылы Physical Review журналында жарияланған екі мақаласымен бастау алды.

Шеннон энтропиясының ең жоғары мөлшері

MaxEnt диссертациясының негізгі қағидасы – максималды энтропия. Ол белгілі бір бөлігінде көрсетілген модельді және модельге қатысты белгілі бір деректерді талап етеді. Ол модельді бейнелеу үшін ықтималдық үлестірілімін таңдайды. Берілген деректер ықтималдық үлестірілімі туралы "тексеруге болатын ақпаратты" көрсетеді, мысалы, белгілі бір күтілетін мәндер, бірақ оны бірегей анықтау үшін жеткіліксіз. Принцип бойынша, Шеннонның ақпараттық энтропиясын барынша жоғарылатып, үлестірілімді таңдау керек. Бұл 1878 жылы Дж. Уиллард Гиббс енгізген Гиббс алгоритмі деп аталады, ол тепе-теңдіктегі термодинамикалық жүйелердің қасиеттерін болжау үшін статистикалық жиынтықтарды құруға арналған. Бұл тепе-теңдік жүйелерінің термодинамикалық қасиеттерін статистикалық механикалық талдаудың негізгі тасы болып табылады (бөлу функциясын қараңыз). Осылайша, тепе-теңдіктегі термодинамикалық энтропия STh, қысым, көлем, температура және т.б. күй функциясы мен осы айнымалылардың күтілетін мәндеріне ғана шектелген ең жоғары белгісіздікпен болжамдалған үлестіру үшін ақпараттық энтропия арасында тікелей байланыс орнатылады: kB, Болцман тұрақтысы, мұнда ешқандай негізгі физикалық мағынасы жоқ, бірақ Клаузиус (1865) энтропияның бұрынғы тарихи анықтамасымен сәйкестікті сақтау үшін қажет (Болцман тұрақтысын қараңыз). Алайда, MaxEnt мектебі MaxEnt әдісінің статистикалық қорытындының жалпы әдісі болып табылатынын, оның одан да көп қолданыстары бар екенін айтады. Сондықтан оны "траекториялар" Γ үшін "бір уақыт кезеңінде" максималдау арқылы үлестірілімді болжау үшін де қолдануға болады: Бұл "ақпараттық энтропия" міндетті түрде термодинамикалық энтропиямен қарапайым сәйкес келмейді. Бірақ оны тепе-теңдіксіз термодинамикалық жүйелердің уақыт өте келе қалыптасатын ерекшеліктерін болжау үшін пайдалануға болады. Тепе-теңдіксіз сценарийлер үшін, жергілікті термодинамикалық тепе-теңдікті ұйғаратын, максималды энтропия тәсілімен, Онсагердің өзара қатынастары мен Грин-Кубо қатынастары тікелей туындайды. Бұл тәсіл сондай-ақ, тепе-теңдіктен алыс кейбір ерекше жағдайларды зерттеу үшін теориялық негіз жасайды, бұл энтропия өндірісінің ауытқу теоремасын тікелей шығаруға мүмкіндік береді. Тепе-теңдіксіз процестер үшін, макроскопиялық сипаттамалар үшін де, микроскопиялық статистикалық механикалық есептер үшін энтропияның жалпы анықтамасы жоқ. Техникалық ескерту: Дифференциалдық энтропия мақаласында талданғандай, Шеннон энтропиясының қарапайым анықтамасы үздіксіз ықтималдық үлестіру функциялары бар кездейсоқ айнымалылар үшін тікелей қолданылмайды. Оның орнына максимизациялауға тиісті шама – "нақты ақпараттық энтропия", Hc – бұл m(x) және p(x) арасындағы Kullback–Leibler дивергенциясының немесе кемсіту ақпаратының теріс мәні, мұнда m(x) – өзгермелі үшін алдыңғы инвариантты шара. Нақты энтропия Hc әрқашан нөлден кем болады және оны p(x) орнына m(x) таңдау арқылы жоғалтылған ақпарат мөлшерінің теріс мәні деп қарастыруға болады. Шеннон энтропиясынан айырмашылығы, нақты энтропия Hc үздіксіз x үшін шекті және жақсы анықталған, сондай-ақ 1:1 координаттық түрлендірулер кезінде инвариантты болып қалады. Егер m(xi) біркелкі деп болжаса, екі өрнек дискретті ықтималдық үлестірулері үшін сәйкес келеді, яғни статистикалық термодинамиканың негізі болып табылатын тең априорлы ықтималдық принципі.

Central to the MaxEnt thesis is the principle of maximum entropy. It demands as given some partly specified model and some specified data related to the model. It selects a preferred probability distribution to represent the model. The given data state "testable information" about the probability distribution, for example particular expectation values, but are not in themselves sufficient to uniquely determine it. The principle states that one should prefer the distribution which maximizes the Shannon information entropy,

This is known as the Gibbs algorithm, having been introduced by J. Willard Gibbs in 1878, to set up statistical ensembles to predict the properties of thermodynamic systems at equilibrium. It is the cornerstone of the statistical mechanical analysis of the thermodynamic properties of equilibrium systems (see partition function). A direct connection is thus made between the equilibrium thermodynamic entropy STh, a state function of pressure, volume, temperature, etc., and the information entropy for the predicted distribution with maximum uncertainty conditioned only on the expectation values of those variables:

kB, the Boltzmann constant, has no fundamental physical significance here, but is necessary to retain consistency with the previous historical definition of entropy by Clausius (1865) (see Boltzmann constant). However, the MaxEnt school argue that the MaxEnt approach is a general technique of statistical inference, with applications far beyond this. It can therefore also be used to predict a distribution for "trajectories" Γ "over a period of time" by maximising:

This "information entropy" does not necessarily have a simple correspondence with thermodynamic entropy. But it can be used to predict features of nonequilibrium thermodynamic systems as they evolve over time. For non equilibrium scenarios, in an approximation that assumes local thermodynamic equilibrium, with the maximum entropy approach, the Onsager reciprocal relations and the Green–Kubo relations fall out directly. The approach also creates a theoretical framework for the study of some very special cases of far from equilibrium scenarios, making the derivation of the entropy production fluctuation theorem straightforward. For non equilibrium processes, as is so for macroscopic descriptions, a general definition of entropy for microscopic statistical mechanical accounts is also lacking. Technical note: For the reasons discussed in the article differential entropy, the simple definition of Shannon entropy ceases to be directly applicable for random variables with continuous probability distribution functions. Instead the appropriate quantity to maximize is the "relative information entropy",

Hc is the negative of the Kullback–Leibler divergence, or discrimination information, of m(x) from p(x), where m(x) is a prior invariant measure for the variable(s). The relative entropy Hc is always less than zero, and can be thought of as (the negative of) the number of bits of uncertainty lost by fixing on p(x) rather than m(x). Unlike the Shannon entropy, the relative entropy Hc has the advantage of remaining finite and well defined for continuous x, and invariant under 1 to 1 coordinate transformations. The two expressions coincide for discrete probability distributions, if one can make the assumption that m(xi) is uniform – i. e. the principle of equal a priori probability, which underlies statistical thermodynamics.

Философиялық әсерлері

Максенттік көзқарас ұстанушылары термодинамикадағы кейбір тұжырымдамалық/философиялық мәселелерге қатысты нақты позицияны білдіреді. Бұл позиция төменде сипатталған.

Статистикалық механикадағы ықтималдықтардың сипаты

Джейнс (1985, 2003, et passim) ықтималдық ұғымын талқылады. Максент көзқарасына сәйкес, статистикалық механикадағы ықтималдықтар екі фактордың бірлескен әсерімен анықталады: негізгі күй кеңістігі үшін нақты белгіленген нақты модельдер (мысалы, Лиувильдің фазалық кеңістігі); және жүйенің нақты белгіленген ішінара сипаттамалары (Максент ықтималдығын тағайындауды шектеу үшін қолданылатын жүйенің макроскопиялық сипаттамасы). Ықтималдықтар объективті, себебі берілген деректер негізінде, әрбір рационалды зерттеуші үшін бірегей анықталған ықтималдық таралуы пайда болады, бұл субъективтілікке және жеке адамдардың кездейсоқ пікірлеріне тәуелсіз. Ықтималдықтар эпистемиялық, яғни олар нақты белгіленген деректер тұрғысынан анықталады және осы деректерден нақты және объективті логикалық ережелер арқылы туындайды, бұл әрбір рационалды зерттеуші үшін ортақ. Мұндағы «эпистемиялық» сөзі объективті және жеке тұлғаға тәуелсіз ғылыми білімді білдіреді, бұл әрбір рационалды зерттеуші үшін ортақ, және ол жеке адамдардың субъективті немесе кездейсоқ сенімдерінен өзгеше мағынада қолданылады; бұл айырмашылық Платон мен Аристотельдің еңбектерінде кездеседі және бүгінгі күнге дейін сенімді. Джейнс осы контексте «субъективті» сөзін де қолданды, себебі басқалар да осылай қолданған. Ол білімнің субъективтілік аспектісі бар екенін мойындады, өйткені ол ойлаумен байланысты, ал ойлау – психикалық процесс. Бірақ ол максималды энтропия принципінің тек рационалды және объективті ойлауға қатысты екенін, ойлаушының жеке ерекшеліктеріне тәуелсіз екенін атап өтті. Жалпы, философиялық тұрғыдан алғанда, «субъективті» және «объективті» сөздері қарама-қайшы емес; көбінесе бір құбылыстың субъективті және объективті екі аспектісі де болады. Джейнс кейбір авторлардың, ойдың субъективтілік аспектісі бар болғандықтан, ойдың объективті емес деген пікірін қабылдамады. Ол ғылыми ойлаудың негізі ретінде субъективтілікті, ғылымның эпистемологиясын жоққа шығарды; ол ғылыми ойлаудың толық және қатаң объективті негізге ие болуын талап етті. Дегенмен, сыншылар Джейнстің идеяларын «субъективті» деп айыптап, сынауын тоқтатпады. Бір автор тіпті Джейнстің тәсілін «үлтрасубъективистік» деп атап, «субъективизм термині физиктер арасында тудырған үрейді» айтты. Ықтималдықтар деректердегі білімнің деңгейін және ақпараттың жетіспеушілігін, сондай-ақ аналитик жүйенің макроскопиялық сипаттамасында қолданған модельді, және осы деректердің негізгі шындық туралы не айтатынын көрсетеді. Ықтималдықтардың дұрыстығы көрсетілген макроскопиялық модельдің шектеулері жүйенің барлық экспериментальды түрде қайталанатын мінез-құлқына жеткілікті дәл және/немесе толық сипаттама беретініне байланысты. Бұған алдын ала кепілдік беру мүмкін емес. Сондықтан Максент жақтастары осы әдісті болжамдық статистикалық механика деп атайды. Болжамдар қате болуы мүмкін. Бірақ егер олар қате болса, бұл маңызды ақпарат береді, өйткені жүйедегі қайталанатын мінез-құлқыны түсіру үшін ескерілмеген жаңа шектеулердің бар екенін көрсетеді.

Jaynes (1985, 2003, et passim) discussed the concept of probability. According to the MaxEnt viewpoint, the probabilities in statistical mechanics are determined jointly by two factors: by respectively specified particular models for the underlying state space (e. g. Liouvillian phase space); and by respectively specified particular partial descriptions of the system (the macroscopic description of the system used to constrain the MaxEnt probability assignment). The probabilities are objective in the sense that, given these inputs, a uniquely defined probability distribution will result, the same for every rational investigator, independent of the subjectivity or arbitrary opinion of particular persons. The probabilities are epistemic in the sense that they are defined in terms of specified data and derived from those data by definite and objective rules of inference, the same for every rational investigator. Here the word epistemic, which refers to objective and impersonal scientific knowledge, the same for every rational investigator, is used in the sense that contrasts it with opiniative, which refers to the subjective or arbitrary beliefs of particular persons; this contrast was used by Plato and Aristotle, and stands reliable today. Jaynes also used the word 'subjective' in this context because others have used it in this context. He accepted that in a sense, a state of knowledge has a subjective aspect, simply because it refers to thought, which is a mental process. But he emphasized that the principle of maximum entropy refers only to thought which is rational and objective, independent of the personality of the thinker. In general, from a philosophical viewpoint, the words 'subjective' and 'objective' are not contradictory; often an entity has both subjective and objective aspects. Jaynes explicitly rejected the criticism of some writers that, just because one can say that thought has a subjective aspect, thought is automatically non objective. He explicitly rejected subjectivity as a basis for scientific reasoning, the epistemology of science; he required that scientific reasoning have a fully and strictly objective basis. Nevertheless, critics continue to attack Jaynes, alleging that his ideas are "subjective". One writer even goes so far as to label Jaynes' approach as "ultrasubjectivist", and to mention "the panic that the term subjectivism created amongst physicists". The probabilities represent both the degree of knowledge and lack of information in the data and the model used in the analyst's macroscopic description of the system, and also what those data say about the nature of the underlying reality. The fitness of the probabilities depends on whether the constraints of the specified macroscopic model are a sufficiently accurate and/or complete description of the system to capture all of the experimentally reproducible behavior. This cannot be guaranteed, a priori. For this reason MaxEnt proponents also call the method predictive statistical mechanics. The predictions can fail. But if they do, this is informative, because it signals the presence of new constraints needed to capture reproducible behavior in the system, which had not been taken into account.

Энтропия "нақты" ма?

Термодинамикалық энтропия (тепе-теңдікте) модельдік сипаттаманың күйлік айнымалыларының функциясы болып табылады. Сондықтан ол модельдік сипаттамадағы басқа айнымалылар сияқты "шынайы". Егер ықтималдықтарды тағайындаудағы модельдік шектеулер, қайталанатын тәжірибелік нәтижелерді болжауға қажетті барлық ақпаратты қамтитын "жақсы" сипаттама болса, онда ол классикалық термодинамика формулаларын қолданып болжауға болатын барлық нәтижелерді де қамтиды. Осы тұрғыдан алғанда, MaxEnt STh классикалық термодинамикадағы энтропия сияқты "шынайы". Әрине, шындығында жүйенің бір ғана нақты күйі бар. Энтропия сол күйдің тікелей функциясы емес. Ол тек (субъективті түрде таңдалған) макроскопиялық модельдік сипаттама арқылы нақты күйдің функциясы болып табылады.

Эргодикалық теорияның қатысы бар ма?

Гиббс ансамблі бір жүйеде емес, әртүрлі жүйелерде экспериментті қайта-қайта жасау туралы ұғымды идеалдайды. Сондықтан, ұзақ мерзімді уақыт орташалары және эргодикалық гипотеза, егерменші ғасырдың бірінші жартысында оларға қызығушылық болғанымен, жүйеде кездесетін күйдің ықтималдығын анықтау үшін тікелей қатысы жоқ. Бірақ, егер жүйе өлшеуден бұрын белгілі бір тәсілмен дайындалғаны туралы қосымша мәлімет болса, жағдай өзгереді. Осыдан кейін, бұл ақпарат өлшеу кезінде де маңызды болатын қосымша мәліметтер бере ме екенін қарастыру қажет. Содан кейін жүйенің әртүрлі қасиеттерінің қаншалықты жылдам араласатыны аса қызығушылық тудырады. Біріктірілген жүйенің кейбір еркіндік дәрежелері туралы ақпарат тез арада қолданусыз болуы мүмкін, ал жүйенің басқа қасиеттері туралы ақпарат ұзақ уақыт бойы маңыздылығын сақтап қалуы мүмкін. Ең болмағанда, жүйенің орташа және ұзақ мерзімді корреляциялық қасиеттері тәжірибелер үшін қызықты тақырыптар болып табылады. Оларды дәл болжамау, модельде макроскопиялық деңгейде анықталатын физиканың жоқ екенін көрсетеді.

Екінші заң

Лиувиллдің Гамильтондық динамика теоремасы бойынша, фазалық кеңістіктегі нүктелер бұлтының гиперкөлемі жүйе дамуы барысында тұрақты болып қалады. Сондықтан, егер бастапқы ақпаратты шарттап, содан кейін осы микрокүйлердің әрқайсысын уақыт бойынша алға қарай жалғастырсақ, ақпарат энтропиясы да тұрақты болуы керек.

Дегенмен, уақыт өте келе, біздің алғашқы ақпаратымыз тікелей қолжетімділігі азаяды. Жүйенің макроскопиялық сипаттамасында оңай қорытындыланатын болудың орнына, ол жеке молекулалардың координаттары мен импульстары арасындағы өте нәзік корреляцияларға байланысты бола бастайды. (Болцманның H теоремасымен салыстырыңыз.) Басқаша айтқанда, бұл 6N өлшемді фазалық кеңістіктегі жүйенің толық ықтималдық үлестірімі бастапқыда анықталған көлемнен гөрі, ұзын, жіңішке "саусақтарға" таралып, бірте-бірте ретсізденеді. Классикалық термодинамика энтропияның макроскопиялық айнымалылардың күй функциясы болуына негізделген, яғни жүйенің тарихының ешқайсысы маңызды емес, сондықтан оны толығымен ескермеуге болады. Бастапқы Шеннон энтропиясы STh(1) сақталған, кеңейтілген, жұмсақ және эволюцияланған ықтималдық үлестірімі t2 уақытында байқалатын макроскопиялық айнымалылардың күтілетін мәндерін қайта жаңғыртуы керек. Алайда, ол енді жаңа макроскопиялық сипаттама үшін энтропияның максималды үлестірілуі болмайды. Екінші жағынан, жаңа термодинамикалық энтропия STh(2) құрылымы бойынша максималды энтропия үлестірімін өлшейді. Сондықтан күтеміз:

Абстрактілі деңгейде, бұл нәтиже біздің жүйе туралы бастапқыда білген ақпаратымыздың макроскопиялық деңгейде "пайдасыз" болғанын білдіреді. 6N өлшемді ықтималдық үлестірімі деңгейінде бұл нәтиже ірілендіруді білдіреді, яғни өте ұсақ масштабтағы бөлшектерді тегістеу арқылы ақпараттың жоғалуын.

Аргументті қолдауы

Жоғарыда айтылғандарға байланысты кейбір ескертулерді ескеру керек. 1. MaxEnt мектебінің барлық статистикалық механикалық нәтижелері сияқты, термодинамикалық энтропияның бұл өсуі тек болжам ғана. Ол, әсіресе, бастапқы макроскопиялық сипаттамада кейінгі макроскопиялық күйді болжау үшін қажетті барлық ақпарат бар деп есептейді. Бұл жағдай болмауы мүмкін, мысалы, егер бастапқы сипаттама жүйе дайындалуының кейінірек маңызды болатын кейбір аспектілерін көрсетпесе. Мұндай жағдайда MaxEnt болжамының «жетіспеуі» жүйе физикасында біз назардан тыс қалған маңызды нәрсе бар екенін көрсетеді. Сонымен қатар, кванттық өлшеу, әсіресе декогерентті түсіндіруде, осы аргумент бойынша энтропияның күтпеген төмендеуін тудыруы мүмкін деп ұсынылады, себебі бұрын қолжетімсіз болған макроскопиялық ақпарат қолжетімді болады. (Дегенмен, кванттық өлшеудің энтропиясын есептеу қиын, өйткені толық декогеренттілікке қол жеткізу үшін шексіз энтропиясы бар шексіз орта қабылдануы мүмкін). 2. Бұған дейінгі талқылауда ауытқулар мәселесіне тоқталмадық. Сондай-ақ, t1 уақытында t2 уақытындағы айнымалылар үшін болжанатын белгісіздік, өлшеу қателігінен әлдеқайда кіші болады деп есептелді. Бірақ егер өлшемдер жүйе туралы білімімізді мағыналы түрде жаңартса, оның күйіне қатысты белгісіздігіміз азаяды, нәтижесінде жаңа SI(2) пайда болады, ол SI(1)-ден кіші. (Егер Лапластың демонының мүмкіндіктерін пайдалансақ, осы жаңа ақпараттың салдары кері бағытта да картаға түсіріледі, сондықтан t1 уақытындағы динамикалық күй туралы белгісіздігіміз де SI(1)-ден SI(2)-ге дейін төмендейді). Біз STh(2) > SI(2) екенін білеміз, бірақ енді STh(1) = SI(1)-ден үлкен екеніне сенімді бола алмаймыз. Бұл STh-ның ауытқуларына мүмкіндік береді. Термодинамикалық энтропия жоғары да, төмен де түсуі мүмкін. Бұл құбылыстың толық талдауын энтропияның ауытқу теоремасы береді, ол уақытқа тәуелді MaxEnt тұжырымдамасының салдары ретінде дәлелденеді. 3. Жоғарыда айтылғандай, MaxEnt тұжырымдамасы кері бағытта да жақсы жұмыс істейді. Сондықтан, белгілі бір соңғы күй берілген болса, біз бұрынғы күйлер туралы білімімізді жақсарту үшін нені «болжай» аламыз? деген сұрақ туындайды. Алайда, жоғарыда келтірілген Екінші заңның аргументі де керісінше жұмыс істейді: t2 уақытындағы макроскопиялық ақпарат берілген болса, оның да пайдасы азаяды деп күтуге болады. Екі процедура да уақыт бойынша симметриялы. Бірақ ақпарат уақыт өте келе бұрынғыдан да аз пайдалы болады. (Лошмидт парадоксымен салыстырыңыз). MaxEnt тұжырымдамасы қазіргі кездегі төмен энтропиялық күйдің ең ықтимал шығу тегі, ертеректегі жоғары энтропиялық күйден спонтанды түрде ауытқу екенін болжайды. Бірақ бұл біз білетін нәрсеге қайшы келеді, себебі энтропия үнемі өсіп келеді, тіпті өткенде де. MaxEnt жақтастарының бұл жайтқа жауабы, MaxEnt тұжырымдамасының болжауында мұндай жүйелі сәтсіздік «жақсы» нәрсе. Бұл жүйе физикасында назардан тыс қалған маңызды ақпараттың бар екенін көрсетеді. Егер динамика уақыт бойынша симметриялы болса, онда төмен термодинамикалық энтропиясы бар бастапқы күйлер, жоғары термодинамикалық энтропиясы бар бастапқы күйлерге қарағанда ықтимал екендігін алдын ала болжау керек. Бұл динамиканың өзімен түсіндірілмейді. Мүмкін, бұл ғаламның космологиялық масштабтағы уақыт асимметриялық эволюциясының көрінісі болар (уақыт жебесіне қараңыз).

Some caveats should be considered with the above. 1. Like all statistical mechanical results according to the MaxEnt school, this increase in thermodynamic entropy is only a prediction. It assumes in particular that the initial macroscopic description contains all of the information relevant to predicting the later macroscopic state. This may not be the case, for example if the initial description fails to reflect some aspect of the preparation of the system which later becomes relevant. In that case the "failure" of a MaxEnt prediction tells us that there is something more which is relevant that we may have overlooked in the physics of the system. It is also sometimes suggested that quantum measurement, especially in the decoherence interpretation, may give an apparently unexpected reduction in entropy per this argument, as it appears to involve macroscopic information becoming available which was previously inaccessible. (However, the entropy accounting of quantum measurement is tricky, because to get full decoherence one may be assuming an infinite environment, with an infinite entropy). 2. The argument so far has glossed over the question of fluctuations. It has also implicitly assumed that the uncertainty predicted at time t1 for the variables at time t2 will be much smaller than the measurement error. But if the measurements do meaningfully update our knowledge of the system, our uncertainty as to its state is reduced, giving a new SI(2) which is less than SI(1). (Note that if we allow ourselves the abilities of Laplace's demon, the consequences of this new information can also be mapped backwards, so our uncertainty about the dynamical state at time t1 is now also reduced from SI(1) to SI(2)). We know that STh(2) > SI(2); but we can now no longer be certain that it is greater than STh(1) = SI(1). This then leaves open the possibility for fluctuations in STh. The thermodynamic entropy may go "down" as well as up. A more sophisticated analysis is given by the entropy Fluctuation Theorem, which can be established as a consequence of the time dependent MaxEnt picture. 3. As just indicated, the MaxEnt inference runs equally well in reverse. So given a particular final state, we can ask, what can we "retrodict" to improve our knowledge about earlier states? However the Second Law argument above also runs in reverse: given macroscopic information at time t2, we should expect it too to become less useful. The two procedures are time symmetric. But now the information will become less and less useful at earlier and earlier times. (Compare with Loschmidt's paradox.) The MaxEnt inference would predict that the most probable origin of a currently low entropy state would be as a spontaneous fluctuation from an earlier high entropy state. But this conflicts with what we know to have happened, namely that entropy has been increasing steadily, even back in the past. The MaxEnt proponents' response to this would be that such a systematic failing in the prediction of a MaxEnt inference is a "good" thing. It means that there is thus clear evidence that some important physical information has been missed in the specification the problem. If it is correct that the dynamics "are" time symmetric, it appears that we need to put in by hand a prior probability that initial configurations with a low thermodynamic entropy are more likely than initial configurations with a high thermodynamic entropy. This cannot be explained by the immediate dynamics. Quite possibly, it arises as a reflection of the evident time asymmetric evolution of the universe on a cosmological scale (see arrow of time).

Сындар

Максималды энтропия термодинамикасының маңызды қарсылықтары бар, бұл ішінара MaxEnt мектебінің жарияланған нәтижелерінің салыстырмалы аздығынан туындайды, әсіресе тепе-теңдіктен алыс жаңа, сынауға болатын болжамдарға қатысты. Теория ішкі тұтастығы тұрғысынан да сынға ұшырайды. Мысалы, Раду Балеску MaxEnt мектебінің және Джейстің жұмысына қатысты күшті сын айтады. Балеску Джейстің және оның әріптестерінің теориясы екі мәнді нәтижелер беретін, транзитивті емес эволюция заңына негізделгенін мәлімдейді. Теорияның кейбір қиындықтарын шешуге болады, бірақ теорияның «қатты негізі жоқ» және «жаңа нақты нәтижелерге әкелген жоқ». Максималды энтропия тәсілі тікелей ақпараттық энтропияға негізделгенімен, физикаға ғана қолданылады, оның үшін энтропияның нақты физикалық анықтамасы болуы керек. Тепе-теңдіксіз жүйелер үшін энтропияның жалпы, бірегей физикалық анықтамасы жоқ, себебі олар термодинамикалық тепе-теңдіктің ішкі күйлеріндегі термодинамикалық жүйелер емес, процестер кезінде қарастырылатын жалпы физикалық жүйелер болып табылады. Осыдан келіп, энтропияның нақты физикалық анықтамасы табылмайынша, максималды энтропия тәсілі тепе-теңдіксіз жүйелерге қолданылмайды. Бұл мәселе сондай-ақ, жылудың ыстық физикалық жүйеден суық физикалық жүйеге тіпті жергілікті термодинамикалық тепе-теңдік сақталмаған жағдайда да берілу мүмкіндігімен байланысты, яғни екі жүйенің де температурасы анықталмаған. Классикалық энтропия жүйенің өзінің ішкі термодинамикалық тепе-теңдік күйінде анықталады, ол күй айнымалыларымен сипатталады және нөлдік емес ағындар болмайды, сондықтан ағын айнымалылары күй айнымалылары ретінде пайда болмайды. Бірақ күшті тепе-теңдіксіз жүйеде, процесс кезінде күй айнымалылары нөлдік емес ағын айнымалыларын қамтуы керек. Энтропияның классикалық физикалық анықтамалары бұл жағдайды қамтымайды, әсіресе ағындар жергілікті термодинамикалық тепе-теңдікті бұзуға жеткілікті үлкен болғанда. Басқаша айтқанда, тепе-теңдіксіз жүйелер үшін энтропияны анықтау үшін, анықтама классикалық статикалық термодинамикалық күй айнымалыларынан асып, кемінде процесс сипаттамасын, соның ішінде нөлдік емес ағындарды қамтуы керек. Максималданатын «энтропия» қолданылып жатқан мәселеге сәйкес анықталуы тиіс. Егер дұрыс емес «энтропия» максималданатын болса, қате нәтиже алу ықтималдығы жоғары. Принцип бойынша, максималды энтропия термодинамикасы ғана классикалық термодинамикалық энтропияға емес, физикаға қолданылатын ақпараттық энтропияға қатысты, және ол қолданылып жатқан мәселені тұжырымдау үшін қолданылатын деректерге тікелей байланысты. Аттардтың сөзіне сәйкес, күшті тепе-теңдіксіз термодинамикамен талданған физикалық мәселелер үшін, физикалық жағынан әртүрлі энтропия түрлерін қарастыру қажет, оның ішінде ол «екінші энтропия» деп атаған түрлері де бар. Аттард былай деп жазады: «Белгілі бір бастапқы макрокүйге сәйкес микрокүйлер арасында екінші энтропияны максималдау ең мүмкін болатын мақсатты макрокүйді береді». Физикалық тұрғыдан анықталған екінші энтропияны ақпараттық тұрғыдан да қарастыруға болады.

The Maximum Entropy thermodynamics has some important opposition, in part because of the relative paucity of published results from the MaxEnt school, especially with regard to new testable predictions far from equilibrium. The theory has also been criticized in the grounds of internal consistency. For instance, Radu Balescu provides a strong criticism of the MaxEnt School and of Jaynes' work. Balescu states that Jaynes' and coworkers theory is based on a non transitive evolution law that produces ambiguous results. Although some difficulties of the theory can be cured, the theory "lacks a solid foundation" and "has not led to any new concrete result". Though the maximum entropy approach is based directly on informational entropy, it is applicable to physics only when there is a clear physical definition of entropy. There is no clear unique general physical definition of entropy for non equilibrium systems, which are general physical systems considered during a process rather than thermodynamic systems in their own internal states of thermodynamic equilibrium. It follows that the maximum entropy approach will not be applicable to non equilibrium systems until there is found a clear physical definition of entropy. This problem is related to the fact that heat may be transferred from a hotter to a colder physical system even when local thermodynamic equilibrium does not hold so that neither system has a well defined temperature. Classical entropy is defined for a system in its own internal state of thermodynamic equilibrium, which is defined by state variables, with no non zero fluxes, so that flux variables do not appear as state variables. But for a strongly non equilibrium system, during a process, the state variables must include non zero flux variables. Classical physical definitions of entropy do not cover this case, especially when the fluxes are large enough to destroy local thermodynamic equilibrium. In other words, for entropy for non equilibrium systems in general, the definition will need at least to involve specification of the process including non zero fluxes, beyond the classical static thermodynamic state variables. The 'entropy' that is maximized needs to be defined suitably for the problem at hand. If an inappropriate 'entropy' is maximized, a wrong result is likely. In principle, maximum entropy thermodynamics does not refer narrowly and only to classical thermodynamic entropy. It is about informational entropy applied to physics, explicitly depending on the data used to formulate the problem at hand. According to Attard, for physical problems analyzed by strongly non equilibrium thermodynamics, several physically distinct kinds of entropy need to be considered, including what he calls second entropy. Attard writes: "Maximizing the second entropy over the microstates in the given initial macrostate gives the most likely target macrostate.". The physically defined second entropy can also be considered from an informational viewpoint.

Цитаталанған сілтемелердің библиографиясы

Гутман, Ю. М. (1999). Статистикалық физикадағы ықтималдық тұжырымдамасы, Кембридж университетінің баспасы, Кембридж, Ұлыбритания.