Ludwig Boltzmann foi criticado por sua tentativa, em 1872, de provar seu teorema H (que afirma que a entropia sempre aumenta) por meio de uma análise dinâmica de colisões moleculares. Josef Loschmidt e outros apontaram que, se as velocidades moleculares fossem invertidas em um instante, o trabalho de Boltzmann mostraria que a entropia deveria diminuir. Essa foi a objeção da reversibilidade .
Entropia como informação perdida sobre posições moleculares
O aumento da entropia pode ser facilmente compreendido como a perda de informação à medida que um sistema passa de um estado inicialmente ordenado para um estado final desordenado. Ludwig Boltzmann foi o primeiro a descrever a entropia como "informação faltante".
O trabalho do Dr. Shannon tem suas raízes, como apontou von Neumann, na observação de Boltzmann, em alguns de seus trabalhos sobre física estatística (1894), de que a entropia está relacionada à "informação faltante", na medida em que se relaciona ao número de alternativas que permanecem possíveis para um sistema físico após toda a informação macroscopicamente observável a seu respeito ter sido registrada. L. Szilard (Zsch. f. Phys. Vol. 53, 1925) estendeu essa ideia a uma discussão geral sobre informação em física, e von Neumann (Math. Foundation of Quantum Mechanics, Berlim, 1932, Cap. V) tratou da informação em mecânica quântica e física de partículas.
( A Teoria Matemática da Informação , Claude Shannon e Warren Weaver, p. 3n)
Embora as dimensões físicas da entropia termodinâmica (joules/ºK) não sejam as mesmas que as informações matemáticas (adimensionais), além das unidades, elas compartilham a mesma fórmula famosa.
S = ∑ p i ln p i
Para entender isso de forma simples, vamos considerar o exemplo clássico de um frasco de perfume no canto de um quarto. Podemos representar o quarto como uma grade de 64 quadrados. Suponha que o ar esteja cheio de moléculas se movendo aleatoriamente à temperatura ambiente (círculos azuis). No canto inferior esquerdo, uma pequena quantidade de moléculas de perfume (vermelhas) será liberada quando abrirmos o frasco (ao iniciar a animação de demonstração abaixo).
Qual a quantidade de informação que temos sobre as moléculas do perfume Inicialmente, sabemos sua localização no quadrado inferior esquerdo, um pouco menos de 1/64 do recipiente. A quantidade de informação é determinada pelo número mínimo de perguntas de sim/não necessárias para localizá-las. As melhores perguntas são aquelas que distribuem as localizações uniformemente (uma árvore binária).
Por exemplo:
Estão na metade superior do recipiente Não.
Estão na metade esquerda do recipiente Sim.
Estão na metade superior do quadrante inferior esquerdo Não.
Estão na metade esquerda do quadrante inferior esquerdo Sim.
Estão na metade superior do octante inferior esquerdo Não.
Estão na metade esquerda do octante inferior esquerdo Sim.
As respostas a essas seis perguntas otimizadas nos fornecem seis bits de informação para cada molécula, localizando-a com precisão de 1/64 do recipiente. Essa é a quantidade de informação que será perdida para cada molécula se ela puder escapar e se difundir completamente no ambiente. O aumento da entropia termodinâmica é a constante de Boltzmann k multiplicada pelo número de bits.
Se a sala estivesse vazia, o perfume atingiria rapidamente um estado de equilíbrio, já que a velocidade molecular à temperatura ambiente é de cerca de 400 metros por segundo. As colisões com as moléculas de ar impedem que o perfume se dissipe rapidamente. Isso nos permite observar a aproximação ao equilíbrio. Quando o perfume se difundir por um décimo sexto da sala, a entropia terá aumentado 2 bits por molécula; a um quarto da sala, quatro bits, e assim por diante.
Entropia como evolução para o macroestado mais provável
Em 1877, Boltzmann simplesmente ignorou a dinâmica clássica e, em vez disso, assumiu que todas as células do espaço de fase tinham a mesma probabilidade de ocorrência. A dinâmica clássica não conseguia provar que a trajetória do sistema no espaço de fase passaria por todas as células, muito menos que ele permaneceria o mesmo tempo em todas elas. Boltzmann descreveu um sistema que chamou de "ergode", posteriormente denominado conjunto canônico por J. Willard Gibbs. A igualdade de probabilidades a priori para todas as células do espaço de fase passou a ser chamada de hipótese ergódica .
Paul e Tatiana Ehrenfest fizeram da hipótese ergódica a questão central da mecânica estatística. Os matemáticos abordaram o problema da ergodicidade na matemática contínua, cuja relevância para problemas na física de partículas discretas é questionável.
Na mecânica estatística quântica moderna, a mesma hipótese ergódica (equiprobabilidade das células do espaço de fase) aparece em uma suposição sobre as probabilidades de transição entre as células do espaço de fase. Assume-se que a probabilidade de transição de qualquer microestado A para o microestado B seja a mesma que a do salto quântico inverso de B para A.
O elemento de matriz para a transição A - B é o conjugado complexo da transição inversa B - A. Isso é chamado de Regra de Ouro de Fermi, embora tenha sido derivado inicialmente por Paul Dirac.
Podemos observar como qualquer sistema com probabilidades de transição iguais entre quaisquer outros estados estabelecerá rapidamente populações em equilíbrio. Se houver 1000 sistemas no estado A e nenhum no estado B, as primeiras transições serão predominantemente de A para B. Um número igual de transições de volta de B para A não é provável até que as populações de A e B sejam aproximadamente iguais.
Essa é a ideia básica por trás da formulação estatística do teorema H de Boltzmann. Quando todas as células do espaço de fase estão igualmente populadas, o número de maneiras pelas quais isso pode ser alcançado (o número de microestados) está no seu máximo. Embora as populações de células flutuem em relação a essa condição de equilíbrio, ela corresponde à entropia máxima.
Número de sistemas
Número de ciclos
Probabilidade de transição
A distribuição inicial de 500 sistemas no canto superior esquerdo evolui rapidamente para a função de distribuição normal para números de ocupação.