Edwin Thompson Jaynes expandiu a mecânica estatística para conectá-la à teoria da probabilidade, à teoria da informação de Claude Shannon e às inferências estatísticas bayesianas.

Ele defendeu o trabalho de J. Willard Gibbs , contrastando-o com o trabalho anterior de Ludwig Boltzmann .

Seu "princípio da entropia máxima" ou "maxent" de 1957 afirma que a distribuição de probabilidade que melhor representa o estado atual do conhecimento é aquela com a maior entropia.

Em 1964, Jaynes examinou a diferença entre as formulações de Boltzmann e Gibbs para a entropia. Elas diferem, segundo ele, devido a diferentes tratamentos das "forças interparticulares".

O status das expressões de Gibbs e Boltzmann para a entropia tem sido motivo de alguma confusão na literatura. Mostramos que:

(1) a função H de Gibbs produz a entropia correta conforme definida na termodinâmica fenomenológica;

(2) o Boltzmann H produz uma "entropia" que está errada por uma quantidade não desprezível sempre que as forças interparticulares afetam as propriedades termodinâmicas;

(3) A outra interpretação de Boltzmann da entropia, S = k log W , é consistente com o H de Gibbs e derivável dele;

(4) o teorema H de Boltzmann não constitui uma demonstração da segunda lei para gases diluídos;

(5) a invariância dinâmica do H de Gibbs fornece uma prova simples da segunda lei para forças interparticulares arbitrárias;

(6) a segunda lei é um caso especial de um requisito geral para qualquer processo macroscópico ser experimentalmente reproduzível.

Por fim, destaca-se a natureza "antropomórfica" da entropia, tanto no nível estatístico quanto no fenomenológico.

("Entropias de Gibbs vs Boltzmann", American Journal of Physics 33 (5), 1965, p.391)

Jaynes explica que a entropia de Gibbs é uma quantidade conservada, pela mesma razão que o teorema de Liouville, que conserva o hipervolume no espaço de fase de uma nuvem de partículas à medida que ela percorre sua trajetória.

A entropia de Boltzmann aumenta. Podemos demonstrar que isso é uma consequência das interações quânticas durante as colisões de partículas, o que nega a alegação de reversibilidade microscópica e elimina a informação de trajetória nas partículas do gás, necessária para sustentar a objeção de Loschmidt ao Teorema H de Boltzmann.

Nas palestras de mecânica estatística de 1962 em Brandeis, as expressões de Gibbs e Boltzmann para a entropia foram brevemente comparadas, e foi afirmado que a fórmula de Gibbs fornece a entropia correta, conforme definida na termodinâmica fenomenológica, enquanto a expressão de Boltzmann ( H) é correta apenas no caso de um gás ideal. No entanto, existe uma corrente de pensamento que defende que a expressão de Boltzmann está diretamente relacionada à entropia, e a de Gibbs é simplesmente errônea. Essa crença remonta ao famoso artigo de revisão de Ehrenfest, que criticou severamente os métodos de Gibbs.

Embora seja fácil perceber que as objeções ao Gibbs II são imediatamente refutadas pelo fato de o conjunto canônico de Gibbs fornecer previsões termodinâmicas corretas, discussões com diversos físicos revelaram uma concepção errônea mais sutil, porém mais difundida. A desigualdade fundamental entre as funções H de Gibbs e Boltzmann , a ser demonstrada na Seção II, foi aceita como matematicamente correta; contudo, acreditava-se que, em consequência das "leis dos grandes números", a diferença entre elas seria praticamente desprezível no limite de sistemas grandes.

É verdade que existem muitas expressões diferentes para a entropia que, nesse limite, levam essencialmente à mesma coisa; vários exemplos foram dados por Gibbs. No entanto, a expressão de Boltzmann não é uma delas; como provamos na Seção III, a diferença é uma medida direta do efeito das forças interparticulares sobre a energia potencial e a pressão, e aumenta proporcionalmente ao tamanho do sistema.

A falha em reconhecer o papel fundamental da função H de Gibbs está intimamente relacionada a uma confusão muito mais profunda sobre entropia, probabilidade e irreversibilidade em geral.

A entropia de Gibbs é constante porque a perda de ordem macroscópica é conservada na informação da trajetória das partículas.

Por exemplo, o teorema H de Boltzmann é quase universalmente equiparado a uma demonstração da segunda lei da termodinâmica para gases diluídos, enquanto que, desde as críticas de Ehrenfest, tem-se afirmado repetidamente que o H de Gibbs não pode ser relacionado à entropia porque é constante no tempo.

Uma análise mais detalhada revela que a situação é bem diferente. A mera exibição de uma grandeza matemática que tende a aumentar não é relevante para a segunda lei da termodinâmica, a menos que se demonstre que essa grandeza está relacionada à entropia medida experimentalmente. Mas nem o teorema de Gibbs nem o de Boltzmann ( H) apresentam essa relação para qualquer distribuição que não seja a de equilíbrio (ou seja, a canônica). Consequentemente, embora o teorema de Boltzmann ( H) mostre a tendência de um gás a seguir uma distribuição de velocidades maxwelliana, isso não equivale à segunda lei da termodinâmica, que é uma constatação experimental sobre a direção em que as grandezas macroscópicas observadas (P, V, T) variam.

A ideia de coarse-graining clássico assume um novo significado com os volumes mínimos do espaço de fase do princípio da incerteza da mecânica quântica.

Tentativas anteriores de demonstrar a segunda lei da termodinâmica para sistemas que não sejam gases diluídos geralmente buscaram manter a ideia básica do teorema de Boltzmann H. Como o H de Gibbs é dinamicamente constante, recorreu-se a algum tipo de operação de "graining" (ou "grossing"), resultando em uma nova quantidade Ħ , que tende a diminuir. Tais tentativas não conseguem atingir seu objetivo, porque (a) matematicamente, a diminuição em Ħ se deve apenas à operação artificial de "graining" e, portanto, não pode ter qualquer significado físico; (b) assim como no teorema de Boltzmann H , a quantidade cujo aumento é demonstrado não é a mesma coisa que a entropia. Pois as distribuições de probabilidade de "graining" e "grossing" levam exatamente às mesmas previsões para as quantidades macroscópicas observadas, que são as únicas que determinam a entropia experimental; a diferença entre H e Ħ é característica não do estado macroscópico, mas da maneira particular como escolhemos realizar o "graining". Qualquer demonstração realmente satisfatória da segunda lei deve, portanto, ser baseada em uma abordagem diferente do "graining".

Na verdade, uma demonstração da segunda lei, na situação bastante específica visualizada nas tentativas mencionadas anteriormente, é muito mais simples do que qualquer teorema de H. Uma vez que aceitamos a proposição bem estabelecida de que o conjunto canônico de Gibbs produz a termodinâmica de equilíbrio correta, então, logicamente, não há espaço para qualquer suposição sobre qual quantidade representa a entropia; trata-se de um fato matematicamente demonstrável. Mas assim que entendemos a relação entre o H de Gibbs e a entropia experimental, Eq. (17) abaixo, torna-se imediatamente óbvio que a constância do H de Gibbs , longe de criar dificuldades, é precisamente a propriedade dinâmica de que precisamos para a demonstração.

É interessante notar que, embora este campo seja considerado há muito tempo uma das áreas mais intrigantes e controversas da física, as dificuldades não têm sido de ordem matemática. Cada uma das afirmações acima é demonstrada abaixo ou nas palestras de Brandeis, utilizando apenas algumas linhas de matemática elementar, todas apresentadas por Gibbs. É a enorme dificuldade conceitual deste campo que tem retardado o progresso por tanto tempo. Espero que os leitores não familiarizados com os desenvolvimentos recentes fiquem agradavelmente surpresos ao ver como esses problemas se tornaram claros e fundamentalmente simples, em vários aspectos. Contudo, como veremos, ainda existem muitas complicações e problemas não resolvidos.

A análise de diversos livros didáticos de mecânica estatística mostrou que, embora a maioria apresente as relações formais corretamente, suas implicações completas nunca são mencionadas. De fato, enquanto todos os livros didáticos oferecem discussões extensas sobre o H de Boltzmann , alguns recentes sequer mencionam a existência do H de Gibbs . Não consegui encontrar nenhuma demonstração matemática explícita da diferença entre eles. Pareceu-me, portanto, que a seguinte nota poderia ser pedagogicamente útil.

("Entropias de Gibbs vs Boltzmann", American Journal of Physics 33 (5), 1965, pp.391-392)

Quanto às conexões entre entropia e informação, em particular, a "ignorância humana subjetiva", diz Jaynes,

O volume de fase W ₀ descreve, portanto, toda a gama de possíveis microestados iniciais, e não um subconjunto arbitrário deles; esta é a justificativa básica para usar a distribuição canônica para descrever informações parciais.

Do ponto de vista "subjetivo", podemos, portanto, dizer que W ₀ mede o nosso grau de ignorância quanto ao verdadeiro microestado desconhecido, quando a única informação que temos consiste nos parâmetros termodinâmicos macroscópicos; uma observação feita inicialmente por Boltzmann.

ibid. , p.396)

No artigo de Jaynes sobre o famoso paradoxo , ele escreve...

Alguns fatos importantes sobre termodinâmica ainda não foram compreendidos por outros, nem de perto tão bem quanto Gibbs os compreendeu há mais de 100 anos. Outros aspectos desse “novo” desenvolvimento foram relatados em outros trabalhos (Jaynes 1986, 1988, 1989). Nesta nota, consideramos o “Paradoxo de Gibbs” sobre a entropia de mistura e os tópicos logicamente inseparáveis de reversibilidade e a propriedade extensiva da entropia.

Durante 80 anos, pareceu natural que, para descobrir o que Gibbs tinha a dizer sobre isso, se recorresse à sua obra Mecânica Estatística . Durante 60 anos, livros didáticos e professores (incluindo, lamentavelmente, este autor) enfatizaram aos alunos o quão notável era que Gibbs, já em 1902, tivesse sido capaz de desvendar esse paradoxo que prenunciava — e só encontrou sua solução em — a teoria quântica, com seus ensinamentos sobre partículas indistinguíveis, estatística de Bose e Fermi, etc.

Parece estranho que a discussão original de Gibbs sobre a mistura de gases, em sua extensa monografia sobre o "Equilíbrio de Substâncias Heterogêneas", tenha sido um "choque" para Jaynes. A maioria dos livros didáticos de termodinâmica, desde Lewis e Randall em 1923, menciona o problema da mistura como sendo discutido no que eles chamaram de "grande memória" de Gibbs. Eles também apontam que Ludwig Boltzmann usou uma citação da famosa passagem do "paradoxo" para abrir o volume 2 de suas Lições sobre a Teoria dos Gases (1898).

Foi, portanto, um choque descobrir que, na primeira seção de sua obra anterior (que deve ter sido escrita, no máximo, em meados de 1874), Gibbs demonstra uma compreensão completa desse problema e o resolve sem qualquer vestígio da confusão sobre o “significado de entropia” ou a “distinguibilidade operacional das partículas” em que autores posteriores tropeçaram. Ele vai direto ao ponto, tratando-o como um simples detalhe técnico, facilmente compreendido assim que se entende o significado completo das palavras “estado” e “reversível”, conforme usadas em termodinâmica. Em suma, a teoria quântica não resolveu nenhum paradoxo, porque não havia paradoxo algum.

("Paradoxo de Gibbs", em Máxima Entropia e Métodos Bayesianos , pp. 1-22)

Entropias de Gibbs vs Boltzmann , American Journal of Physics 33, nº 5 (1965): 391-398.

O Paradoxo de Gibbs , em Máxima Entropia e Métodos Bayesianos , pp. 1-21. Springer Netherlands, 1992.