Применение теории информации к термодинамике и статистической механике.

Введение

Применение теории информации к термодинамике и статистической механике
В физике термодинамика максимальной энтропии (в разговорной речи термодинамика MaxEnt) рассматривает равновесную термодинамику и статистическую механику как процессы логического вывода. В частности, MaxEnt применяет методы вывода, основанные на теории информации Шеннона, байесовской вероятности и принципе максимальной энтропии. Эти методы актуальны для любой ситуации, требующей прогнозирования на основе неполных или недостаточных данных (например, реконструкция изображений, обработка сигналов, спектральный анализ и обратные задачи). Основы термодинамики MaxEnt были заложены в двух статьях Эдвина Т. Джейнса, опубликованных в журнале Physical Review в 1957 году.

Максимальная энтропия Шеннона

Центральным в тезисе Максента является принцип максимальной энтропии. Он требует наличия частично заданной модели и определенных данных, связанных с этой моделью. Принцип выбирает предпочтительное распределение вероятностей для представления модели. Заданные данные содержат "проверяемую информацию" о распределении вероятностей, например, конкретные ожидаемые значения, но сами по себе недостаточны для его однозначного определения. Принцип утверждает, что следует предпочитать распределение, которое максимизирует информационную энтропию Шеннона.

Это известно как алгоритм Гиббса, введенный Дж. Уиллардом Гиббсом в 1878 году для построения статистических ансамблей с целью предсказания свойств термодинамических систем в равновесии. Он является краеугольным камнем статистико-механического анализа термодинамических свойств равновесных систем (см. функцию разделения). Таким образом, устанавливается прямая связь между равновесной термодинамической энтропией STh, функцией состояния от давления, объема, температуры и т.д., и информационной энтропией для предсказанного распределения с максимальной неопределенностью, обусловленной лишь ожидаемыми значениями этих переменных.

Постоянная Больцмана kB не имеет здесь фундаментального физического значения, но необходима для сохранения согласованности с предыдущим историческим определением энтропии Клаузиусом (1865) (см. постоянная Больцмана). Однако сторонники подхода Максента утверждают, что он представляет собой общий метод статистического вывода с приложениями, выходящими далеко за его рамки. Поэтому его можно также использовать для предсказания распределения "траекторий" Γ "в течение определенного периода времени" путем максимизации:

Эта "информационная энтропия" не обязательно имеет простое соответствие с термодинамической энтропией. Однако ее можно использовать для предсказания характеристик неравновесных термодинамических систем по мере их эволюции во времени. Для неравновесных сценариев, в приближении, предполагающем локальное термодинамическое равновесие, при использовании подхода максимальной энтропии непосредственно вытекают взаимные соотношения Онзагера и соотношения Грина-Кубо. Этот подход также создает теоретическую основу для изучения некоторых особых случаев, далеких от равновесия, упрощая вывод теоремы о флуктуациях производства энтропии. Для неравновесных процессов, как и для макроскопических описаний, отсутствует общее определение энтропии для микроскопических статистико-механических расчетов. Техническое замечание: по причинам, обсуждаемым в статье о дифференциальной энтропии, простое определение энтропии Шеннона перестает быть непосредственно применимым к случайным величинам с непрерывными функциями распределения вероятностей. Вместо этого необходимо максимизировать "относительную информационную энтропию":

Hc является отрицанием дивергенции Кульбака — Лейблера, или дискриминационной информации, m(x) от p(x), где m(x) — априорная инвариантная мера для переменной(ых). Относительная энтропия Hc всегда меньше нуля и может рассматриваться как (отрицательное значение) количества битов неопределенности, потерянных при выборе p(x) вместо m(x). В отличие от энтропии Шеннона, относительная энтропия Hc имеет преимущество оставаться конечной и хорошо определенной для непрерывного x и инвариантной относительно преобразований координат "один к одному". Два выражения совпадают для дискретных распределений вероятностей, если можно предположить, что m(xi) является равномерным, то есть принцип равной априорной вероятности, лежащий в основе статистической термодинамики.

Философские последствия

Сторонники подхода МаксЭнт занимают четкую позицию по ряду концептуальных и философских вопросов в термодинамике. Эта позиция изложена ниже.

Природа вероятности в статистической механике

Джейнс (1985, 2003, et passim) обсуждал концепцию вероятности. Согласно принципу максимальной энтропии, вероятности в статистической механике определяются совместно двумя факторами: с одной стороны, конкретными моделями, задающими базовое пространство состояний (например, фазовое пространство Лиувиля); и с другой стороны, конкретными частичными описаниями системы (макроскопическое описание системы, используемое для ограничения при определении вероятности по принципу максимальной энтропии). Вероятности объективны в том смысле, что при заданных исходных данных получается однозначно определенное распределение вероятностей, одинаковое для любого рационального исследователя, независимо от субъективности или произвольного мнения отдельных лиц. Вероятности являются эпистемическими в том смысле, что они определяются на основе заданных данных и выводятся из этих данных с помощью определенных и объективных правил логического вывода, одинаковых для любого рационального исследователя. Здесь слово "эпистемический", относящееся к объективному и безличному научному знанию, общему для любого рационального исследователя, используется в противопоставлении слову "опинативный", относящемуся к субъективным или произвольным убеждениям отдельных лиц; это противопоставление использовалось Платоном и Аристотелем и сохраняет свою актуальность и сегодня. Джейнс также использовал слово "субъективный" в этом контексте, поскольку оно уже использовалось другими. Он признавал, что в определенном смысле состояние знания имеет субъективный аспект, просто потому, что оно относится к мышлению, которое является ментальным процессом. Но он подчеркивал, что принцип максимальной энтропии применим только к рациональному и объективному мышлению, не зависящему от личности мыслителя. В целом, с философской точки зрения, слова "субъективный" и "объективный" не являются взаимоисключающими; часто сущность обладает как субъективными, так и объективными аспектами. Джейнс явно отверг критику некоторых авторов, утверждающих, что поскольку мышление имеет субъективный аспект, оно автоматически перестает быть объективным. Он отверг субъективность как основу научного рассуждения, как эпистемологию науки, и требовал, чтобы научное рассуждение имело полностью и строго объективную основу. Тем не менее, критики продолжают нападать на Джейнса, утверждая, что его идеи "субъективны". Один автор даже доходит до того, что называет подход Джейнса "ультрасубъективистским" и упоминает "панику, вызванную термином субъективизм среди физиков". Вероятности отражают как степень знания, так и недостаток информации в данных и модели, используемой аналитиком в макроскопическом описании системы, а также то, что эти данные говорят о природе лежащей в основе реальности. Адекватность вероятностей зависит от того, являются ли ограничения, накладываемые заданной макроскопической моделью, достаточно точным и/или полным описанием системы, способным воспроизвести все экспериментально воспроизводимое поведение. Это нельзя гарантировать априори. По этой причине сторонники принципа максимальной энтропии также называют этот метод предсказательной статистической механикой. Прогнозы могут оказаться неверными. Но если это происходит, это информативно, поскольку указывает на наличие новых ограничений, необходимых для воспроизведения наблюдаемого поведения в системе, которые ранее не были учтены.

Jaynes (1985, 2003, et passim) discussed the concept of probability. According to the MaxEnt viewpoint, the probabilities in statistical mechanics are determined jointly by two factors: by respectively specified particular models for the underlying state space (e. g. Liouvillian phase space); and by respectively specified particular partial descriptions of the system (the macroscopic description of the system used to constrain the MaxEnt probability assignment). The probabilities are objective in the sense that, given these inputs, a uniquely defined probability distribution will result, the same for every rational investigator, independent of the subjectivity or arbitrary opinion of particular persons. The probabilities are epistemic in the sense that they are defined in terms of specified data and derived from those data by definite and objective rules of inference, the same for every rational investigator. Here the word epistemic, which refers to objective and impersonal scientific knowledge, the same for every rational investigator, is used in the sense that contrasts it with opiniative, which refers to the subjective or arbitrary beliefs of particular persons; this contrast was used by Plato and Aristotle, and stands reliable today. Jaynes also used the word 'subjective' in this context because others have used it in this context. He accepted that in a sense, a state of knowledge has a subjective aspect, simply because it refers to thought, which is a mental process. But he emphasized that the principle of maximum entropy refers only to thought which is rational and objective, independent of the personality of the thinker. In general, from a philosophical viewpoint, the words 'subjective' and 'objective' are not contradictory; often an entity has both subjective and objective aspects. Jaynes explicitly rejected the criticism of some writers that, just because one can say that thought has a subjective aspect, thought is automatically non objective. He explicitly rejected subjectivity as a basis for scientific reasoning, the epistemology of science; he required that scientific reasoning have a fully and strictly objective basis. Nevertheless, critics continue to attack Jaynes, alleging that his ideas are "subjective". One writer even goes so far as to label Jaynes' approach as "ultrasubjectivist", and to mention "the panic that the term subjectivism created amongst physicists". The probabilities represent both the degree of knowledge and lack of information in the data and the model used in the analyst's macroscopic description of the system, and also what those data say about the nature of the underlying reality. The fitness of the probabilities depends on whether the constraints of the specified macroscopic model are a sufficiently accurate and/or complete description of the system to capture all of the experimentally reproducible behavior. This cannot be guaranteed, a priori. For this reason MaxEnt proponents also call the method predictive statistical mechanics. The predictions can fail. But if they do, this is informative, because it signals the presence of new constraints needed to capture reproducible behavior in the system, which had not been taken into account.

Энтропия "реальна"?

Термодинамическая энтропия (в состоянии равновесия) является функцией переменных состояния, используемых в описании модели. Следовательно, она столь же "реальна", как и другие переменные в этом описании. Если ограничения модели при задании вероятностей представляют собой "хорошее" описание, содержащее всю информацию, необходимую для предсказания воспроизводимых экспериментальных результатов, то это описание включает в себя все результаты, которые можно было бы предсказать, используя формулы с энтропией из классической термодинамики. В этом смысле MaxEnt STh столь же "реальна", как и энтропия в классической термодинамике. Разумеется, в реальности существует только одно истинное состояние системы. Энтропия не является прямой функцией этого состояния, а зависит от него только через (субъективно выбранное) макроскопическое описание модели.

Эргодическая теория имеет значение?

Гимбсовский ансамбль идеализирует представление о многократном повторении эксперимента на различных системах, а не многократном повторении на одной и той же системе. Следовательно, долгосрочные временные средние и эргодическая гипотеза, несмотря на большой интерес к ним в первой половине двадцатого века, строго говоря, не имеют отношения к определению вероятности состояния, в котором может находиться система. Однако это меняется, если имеется дополнительная информация о том, что система подготавливается определенным образом за некоторое время до измерения. Тогда необходимо рассмотреть, предоставляет ли это дополнительную информацию, которая остается релевантной на момент измерения. В связи с этим возникает интерес к вопросу о том, насколько быстро происходит "перемешивание" различных свойств системы. Информация о некоторых степенях свободы объединенной системы может очень быстро становиться бесполезной, в то время как информация о других свойствах системы может оставаться актуальной в течение значительного времени. По крайней мере, свойства временной корреляции системы в среднесрочной и долгосрочной перспективе сами по себе представляют интерес для экспериментальных исследований. Неспособность точно предсказать их является хорошим индикатором того, что в модели может отсутствовать важная физика, определяемая макроскопически.

Второй закон

Согласно теореме Лиувиля для гамильтоновской динамики, гиперобъем облака точек в фазовом пространстве остается постоянным по мере эволюции системы. Следовательно, информационная энтропия также должна оставаться постоянной, если мы учитывать исходную информацию и затем отслеживать каждый из этих микростатов во времени.

Однако, по мере течения времени, эта первоначальная информация становится менее непосредственно доступной. Вместо того, чтобы легко суммироваться в макроскопическом описании системы, она все больше связана с очень тонкими корреляциями между положениями и импульсами отдельных молекул. (Сравните с теоремой H Больцмана.) Эквивалентно, это означает, что вероятностное распределение для всей системы в 6N-мерном фазовом пространстве становится все более нерегулярным, расплываясь в длинные тонкие «пальцы», а не оставаясь в пределах первоначально четко определенного объема возможностей. Классическая термодинамика строится на предположении, что энтропия является функцией состояния макроскопических переменных, то есть история системы не имеет значения и ее можно игнорировать. Расширенное, тонкое, эволюционировавшее распределение вероятностей, которое все еще имеет начальную энтропию Шеннона STh(1), должно воспроизводить ожидаемые значения наблюдаемых макроскопических переменных в момент времени t2. Однако оно больше не обязательно будет распределением с максимальной энтропией для этого нового макроскопического описания. С другой стороны, новая термодинамическая энтропия STh(2) по определению будет измерять распределение с максимальной энтропией. Поэтому мы ожидаем:

На абстрактном уровне этот результат подразумевает, что часть информации, которой мы изначально обладали о системе, стала «неприменимой» на макроскопическом уровне. На уровне 6N-мерного распределения вероятностей этот результат представляет собой грубое приближение, то есть потерю информации из-за сглаживания деталей мелкого масштаба.

Присоединяется к аргументу

Некоторые оговорки следует учитывать в вышесказанном. 1. Как и все результаты статистической механики, полученные в рамках школы Максента, это увеличение термодинамической энтропии является лишь предсказанием. В частности, предполагается, что начальное макроскопическое описание содержит всю информацию, релевантную для предсказания последующего макроскопического состояния. Это может быть не так, например, если начальное описание не учитывает какой-либо аспект подготовки системы, который впоследствии становится важным. В этом случае "несоответствие" предсказания MaxEnt указывает на то, что существует нечто дополнительное, имеющее значение, что мы могли упустить из виду в физике системы. Также иногда предполагается, что квантовые измерения, особенно в интерпретации декогеренции, могут приводить к кажущемуся неожиданному уменьшению энтропии, поскольку они, по-видимому, связаны с появлением макроскопической информации, которая ранее была недоступна. (Однако, учет энтропии при квантовых измерениях сложен, поскольку для достижения полной декогеренции можно предположить бесконечную среду с бесконечной энтропией). 2. До сих пор аргумент обходил вопрос о флуктуациях. Он также неявно предполагал, что неопределенность, предсказанная в момент времени t1 для переменных в момент времени t2, будет значительно меньше погрешности измерения. Но если измерения существенно обновляют наши знания о системе, наша неопределенность относительно ее состояния уменьшается, приводя к новому SI(2), который меньше, чем SI(1). (Обратите внимание, что если мы допустим возможности демона Лапласа, последствия этой новой информации также можно распространить в обратном направлении, так что наша неопределенность относительно динамического состояния в момент времени t1 также уменьшится с SI(1) до SI(2)). Мы знаем, что STh(2) > SI(2); но теперь мы больше не можем быть уверены, что она больше, чем STh(1) = SI(1). Это открывает возможность флуктуаций в STh. Термодинамическая энтропия может как возрастать, так и убывать. Более сложный анализ представлен теоремой о флуктуациях энтропии, которую можно вывести как следствие подхода MaxEnt, зависящего от времени. 3. Как уже указывалось, вывод MaxEnt одинаково хорошо работает и в обратном направлении. Таким образом, зная конкретное конечное состояние, мы можем спросить, что мы можем "ретродиктировать", чтобы улучшить наши знания о более ранних состояниях? Однако аргумент второго закона также применим в обратном направлении: учитывая макроскопическую информацию в момент времени t2, мы должны ожидать, что она также станет менее полезной. Обе процедуры симметричны относительно времени. Но теперь информация будет становиться все менее и менее полезной по мере удаления во времени в прошлое. (Сравните с парадоксом Лошмидта). Вывод MaxEnt предсказывает, что наиболее вероятным происхождением текущего состояния с низкой энтропией будет спонтанная флуктуация из более раннего состояния с высокой энтропией. Но это противоречит тому, что мы знаем: энтропия неуклонно возрастала даже в прошлом. Ответ сторонников MaxEnt на это заключается в том, что такой систематический провал в предсказаниях вывода MaxEnt – это "хорошая" вещь. Это означает, что есть явные доказательства того, что важная физическая информация была упущена при формулировке задачи. Если динамика действительно симметрична относительно времени, то, по-видимому, нам необходимо вручную задать априорную вероятность того, что начальные конфигурации с низкой термодинамической энтропией более вероятны, чем начальные конфигурации с высокой термодинамической энтропией. Это нельзя объяснить непосредственной динамикой. Вполне возможно, что это является отражением очевидной асимметричной эволюции Вселенной в космологическом масштабе (см. стрелу времени).

Some caveats should be considered with the above. 1. Like all statistical mechanical results according to the MaxEnt school, this increase in thermodynamic entropy is only a prediction. It assumes in particular that the initial macroscopic description contains all of the information relevant to predicting the later macroscopic state. This may not be the case, for example if the initial description fails to reflect some aspect of the preparation of the system which later becomes relevant. In that case the "failure" of a MaxEnt prediction tells us that there is something more which is relevant that we may have overlooked in the physics of the system. It is also sometimes suggested that quantum measurement, especially in the decoherence interpretation, may give an apparently unexpected reduction in entropy per this argument, as it appears to involve macroscopic information becoming available which was previously inaccessible. (However, the entropy accounting of quantum measurement is tricky, because to get full decoherence one may be assuming an infinite environment, with an infinite entropy). 2. The argument so far has glossed over the question of fluctuations. It has also implicitly assumed that the uncertainty predicted at time t1 for the variables at time t2 will be much smaller than the measurement error. But if the measurements do meaningfully update our knowledge of the system, our uncertainty as to its state is reduced, giving a new SI(2) which is less than SI(1). (Note that if we allow ourselves the abilities of Laplace's demon, the consequences of this new information can also be mapped backwards, so our uncertainty about the dynamical state at time t1 is now also reduced from SI(1) to SI(2)). We know that STh(2) > SI(2); but we can now no longer be certain that it is greater than STh(1) = SI(1). This then leaves open the possibility for fluctuations in STh. The thermodynamic entropy may go "down" as well as up. A more sophisticated analysis is given by the entropy Fluctuation Theorem, which can be established as a consequence of the time dependent MaxEnt picture. 3. As just indicated, the MaxEnt inference runs equally well in reverse. So given a particular final state, we can ask, what can we "retrodict" to improve our knowledge about earlier states? However the Second Law argument above also runs in reverse: given macroscopic information at time t2, we should expect it too to become less useful. The two procedures are time symmetric. But now the information will become less and less useful at earlier and earlier times. (Compare with Loschmidt's paradox.) The MaxEnt inference would predict that the most probable origin of a currently low entropy state would be as a spontaneous fluctuation from an earlier high entropy state. But this conflicts with what we know to have happened, namely that entropy has been increasing steadily, even back in the past. The MaxEnt proponents' response to this would be that such a systematic failing in the prediction of a MaxEnt inference is a "good" thing. It means that there is thus clear evidence that some important physical information has been missed in the specification the problem. If it is correct that the dynamics "are" time symmetric, it appears that we need to put in by hand a prior probability that initial configurations with a low thermodynamic entropy are more likely than initial configurations with a high thermodynamic entropy. This cannot be explained by the immediate dynamics. Quite possibly, it arises as a reflection of the evident time asymmetric evolution of the universe on a cosmological scale (see arrow of time).

Критика

Термодинамика максимальной энтропии сталкивается с серьезной оппозицией, отчасти из-за относительного недостатка опубликованных результатов школы MaxEnt, особенно в отношении новых проверяемых предсказаний вдали от равновесия. Теория также подвергалась критике в отношении внутренней непротиворечивости. Например, Раду Балеску представляет собой сильную критику школы Максента и работ Джейнса. Балеску утверждает, что теория Джейнса и его коллег основана на непереходном законе эволюции, приводящем к неоднозначным результатам. Хотя некоторые трудности теории могут быть устранены, она "лишена прочного фундамента" и "не привела ни к одному новому конкретному результату". Несмотря на то, что подход максимальной энтропии основан непосредственно на информационной энтропии, он применим к физике только при наличии четкого физического определения энтропии. Не существует однозначного общего физического определения энтропии для неравновесных систем, которые представляют собой общие физические системы, рассматриваемые в процессе, а не термодинамические системы, находящиеся в собственном внутреннем состоянии термодинамического равновесия. Следовательно, подход максимальной энтропии не будет применим к неравновесным системам, пока не будет найдено четкое физическое определение энтропии. Эта проблема связана с тем, что тепло может передаваться от более горячей к более холодной физической системе, даже когда локальное термодинамическое равновесие не выполняется, так что ни одна из систем не имеет четко определенной температуры. Классическая энтропия определяется для системы в ее собственном внутреннем состоянии термодинамического равновесия, которое определяется переменными состояния без ненулевых потоков, так что переменные потока не являются переменными состояния. Однако для сильно неравновесной системы, в процессе, переменные состояния должны включать в себя ненулевые переменные потока. Классические физические определения энтропии не охватывают этот случай, особенно когда потоки достаточно велики, чтобы разрушить локальное термодинамическое равновесие. Иными словами, для энтропии неравновесных систем в целом определение должно, по крайней мере, включать в себя спецификацию процесса, включая ненулевые потоки, помимо классических статических термодинамических переменных состояния. Максимизируемая "энтропия" должна быть определена соответствующим образом для конкретной задачи. Если максимизируется неподходящая "энтропия", то вероятен неверный результат. В принципе, термодинамика максимальной энтропии не ограничивается узко и исключительно классической термодинамической энтропией. Речь идет об информационной энтропии, применяемой к физике и явно зависящей от данных, используемых для формулировки конкретной задачи. По словам Аттарда, для физических задач, анализируемых сильно неравновесной термодинамикой, необходимо учитывать несколько физически различных видов энтропии, включая то, что он называет второй энтропией. Аттард пишет: "Максимизация второй энтропии по микросостояниям в заданном начальном макросостоянии дает наиболее вероятное целевое макросостояние". Физически определенную вторую энтропию также можно рассматривать с информационной точки зрения.

The Maximum Entropy thermodynamics has some important opposition, in part because of the relative paucity of published results from the MaxEnt school, especially with regard to new testable predictions far from equilibrium. The theory has also been criticized in the grounds of internal consistency. For instance, Radu Balescu provides a strong criticism of the MaxEnt School and of Jaynes' work. Balescu states that Jaynes' and coworkers theory is based on a non transitive evolution law that produces ambiguous results. Although some difficulties of the theory can be cured, the theory "lacks a solid foundation" and "has not led to any new concrete result". Though the maximum entropy approach is based directly on informational entropy, it is applicable to physics only when there is a clear physical definition of entropy. There is no clear unique general physical definition of entropy for non equilibrium systems, which are general physical systems considered during a process rather than thermodynamic systems in their own internal states of thermodynamic equilibrium. It follows that the maximum entropy approach will not be applicable to non equilibrium systems until there is found a clear physical definition of entropy. This problem is related to the fact that heat may be transferred from a hotter to a colder physical system even when local thermodynamic equilibrium does not hold so that neither system has a well defined temperature. Classical entropy is defined for a system in its own internal state of thermodynamic equilibrium, which is defined by state variables, with no non zero fluxes, so that flux variables do not appear as state variables. But for a strongly non equilibrium system, during a process, the state variables must include non zero flux variables. Classical physical definitions of entropy do not cover this case, especially when the fluxes are large enough to destroy local thermodynamic equilibrium. In other words, for entropy for non equilibrium systems in general, the definition will need at least to involve specification of the process including non zero fluxes, beyond the classical static thermodynamic state variables. The 'entropy' that is maximized needs to be defined suitably for the problem at hand. If an inappropriate 'entropy' is maximized, a wrong result is likely. In principle, maximum entropy thermodynamics does not refer narrowly and only to classical thermodynamic entropy. It is about informational entropy applied to physics, explicitly depending on the data used to formulate the problem at hand. According to Attard, for physical problems analyzed by strongly non equilibrium thermodynamics, several physically distinct kinds of entropy need to be considered, including what he calls second entropy. Attard writes: "Maximizing the second entropy over the microstates in the given initial macrostate gives the most likely target macrostate.". The physically defined second entropy can also be considered from an informational viewpoint.

Библиография цитируемых ссылок

Гутманн, Ю. М. (1999). Концепция вероятности в статистической физике, Cambridge University Press, Кембридж, Великобритания.