DESENVOLVIMENTOS RECENTES NA TEORIA DA COMUNICAÇÃO utilizam uma função chamada entropia, que fornece uma medida da quantidade de informação veiculada por uma mensagem. Esse nome foi escolhido devido à semelhança na forma matemática entre a entropia da informação e a entropia da mecânica estatística. Crescente atenção tem sido dedicada à conexão entre informação e entropia física ( 1-9 ), sendo o demônio de Maxwell uma oportunidade típica para a interação entre os conceitos.

O objetivo deste artigo é apresentar um breve histórico dos conceitos de entropia e informação, discutir a informação na física e a conexão entre entropias física e informacional, e demonstrar a identidade lógica entre o problema da medição e o problema da comunicação. Serão consideradas brevemente diversas implicações para a mecânica estatística, a termodinâmica e a mecânica quântica, bem como a possível relevância da entropia generalizada para a biologia. Paradoxos e questões de interpretação na mecânica quântica, assim como a realidade, a causalidade e a completude da mecânica quântica, também serão examinados brevemente sob uma perspectiva informacional.

A descoberta de Boltzmann de uma explicação estatística para a entropia sempre será considerada uma das grandes conquistas da física teórica. Por meio dela, ele conseguiu demonstrar como a mecânica clássica, aplicada a moléculas de bolas de bilhar ou a sistemas mecânicos mais complexos, poderia explicar as leis da termodinâmica. Após muita controvérsia (decorrente da reversibilidade da mecânica em oposição à irreversibilidade da termodinâmica), durante a qual a base lógica da teoria foi reformulada, os principais resultados foram firmemente baseados na teoria abstrata de conjuntos mensuráveis. A função introduzida por Boltzmann depende de como as posições e os momentos moleculares variam em seus valores possíveis (para uma energia total fixa), aumentando com o aumento da aleatoriedade ou dispersão nesses parâmetros moleculares e diminuindo para zero para uma distribuição perfeitamente uniforme. A entropia passou a ser frequentemente descrita, em anos posteriores, como uma medida de desordem, aleatoriedade ou caos. O próprio Boltzmann percebeu mais tarde que a entropia estatística poderia ser interpretada como uma medida de informação faltante.

Foram apresentadas diversas definições de entropia, cujas diferenças residem principalmente no emprego de diferentes aproximações ou na escolha de uma abordagem clássica ou quântica. As definições clássica de Boltzmann e quântica de Planck , por exemplo, são, respectivamente,

Aqui, k é a constante de Boltzmann, f a função de distribuição molecular sobre coordenadas e momentos, dτ um elemento do espaço de fase e P o número de funções de onda independentes consistentes com a energia conhecida do sistema e outras informações gerais, como requisitos de simetria ou acessibilidade. Mesmo antes da maturação do conceito de entropia, Maxwell apontou que um pequeno demônio que pudesse "ver" moléculas individuais seria capaz de deixar as rápidas passarem por uma alçapão e impedir a entrada das lentas. Uma amostra de gás a temperatura uniforme poderia, assim, ser dividida em porções de baixa e alta temperatura, separadas por uma divisória. Uma máquina térmica operando entre elas constituiria, então, um perpetuum mobile de segunda espécie. Szilard ( 1 ), ao considerar esse problema, mostrou que a segunda lei da termodinâmica só poderia ser preservada se o demônio pagasse pela informação sobre a qual atuava com aumento de entropia em outro lugar. Se, como os físicos, o demônio obtém sua informação por meio de aparelhos de medição, então o preço é pago integralmente. Ele foi levado a atribuir um equivalente termodinâmico a um item de informação. Se fosse possível saber em qual dos dois volumes iguais uma molécula seria encontrada, ele demonstrou que a entropia poderia ser reduzida por k log 2.

Hartley ( 2 ), ao considerar o problema da transmissão de informações por telégrafo, concluiu que uma medida apropriada da informação em uma mensagem é o logaritmo do número de mensagens equivalentes que poderiam ter sido enviadas. Por exemplo, se uma mensagem consiste em uma sequência de n escolhas dentre k símbolos, então o número de mensagens equivalentes é 2^ ⁿ , e a transmissão de qualquer uma delas transmite uma quantidade de informação igual a n log 2. Nas mãos de Wiener ( 3,4 ), Shannon ( 5 ) e outros, os primórdios heurísticos de Hartley se tornaram uma teoria geral, rigorosa, elegante e poderosa, relacionada à mecânica estatística e que promete revolucionar a teoria da comunicação. O conjunto de mensagens possíveis é caracterizado por uma quantidade completamente análoga à entropia e chamada por esse nome, que mede a informação transmitida pela seleção de uma das mensagens. Em geral, se um subconjunto é selecionado de um conjunto dado, produz-se uma quantidade de informação igual à diferença entre as entropias dos dois conjuntos. Um sistema de comunicação é um meio para transmitir informações de uma fonte para um destino e deve ser capaz de transmitir qualquer membro do conjunto a partir do qual a mensagem é selecionada. O ruído introduz incerteza no destino em relação à mensagem efetivamente enviada. A diferença entre a entropia a priori do conjunto de mensagens que poderiam ter sido selecionadas e a entropia a posteriori do conjunto de mensagens que poderiam ter originado o sinal recebido é reduzida pelo ruído, de modo que menos informação é transmitida pela mensagem.

É evidente que a definição de Hartley para quantidade de informação coincide com a definição de Planck para entropia, se correlacionarmos mensagens equivalentes com funções de onda independentes. Wiener e Shannon generalizam a definição de Hartley para expressões da mesma forma que a definição de Boltzmann (com a constante k suprimida) e a denominam entropia. Pode parecer confuso que um termo que conota falta de informação na física seja usado como medida da quantidade de informação na comunicação, mas a situação é facilmente esclarecida. Se a mensagem a ser transmitida for conhecida antecipadamente pelo destinatário, nenhuma informação lhe será transmitida. Não há incerteza ou dúvida inicial a ser resolvida; o conjunto de possibilidades a priori se reduz a um único caso e, portanto, tem entropia zero. Quanto maior a incerteza inicial, maior a quantidade de informação transmitida quando uma escolha definitiva é feita. No caso físico, a mensagem não é enviada, por assim dizer, de modo que a entropia física mede quanta informação física está faltando. A entropia de Planck mede o grau de incerteza que temos sobre qual é a função de onda real do sistema. Se pudéssemos determiná-lo com exatidão, o sistema teria entropia zero (caso puro) e nosso conhecimento do sistema seria máximo. Quanto mais informação perdemos, maior a entropia, com o equilíbrio estatístico correspondendo à informação mínima consistente com a energia conhecida e a composição física do sistema. Podemos, portanto, equiparar informação física e entropia negativa (ou negentropia, um termo proposto por Brillouin [ 9 ]). O resultado de Szilard pode ser considerado como fornecendo suporte termodinâmico ao exposto.

Vamos agora tentar ser mais precisos sobre o que se entende por informação em física. A observação (medição, experimentação) é o único meio admissível para obter informações válidas sobre o mundo. A medição é uma variedade mais quantitativa de observação; por exemplo, observamos que um livro está próximo ao lado direito de uma mesa, mas medimos sua posição e orientação em relação a duas bordas adjacentes da mesa. Quando fazemos uma medição, usamos algum tipo de procedimento e aparato que fornece um conjunto de resultados possíveis. Para a medição de comprimento, por exemplo, esse conjunto de resultados possíveis a priori pode consistir em: (a) muito pequeno para ser medido, (b) um múltiplo inteiro de um menor intervalo perceptível, (c) muito grande para ser medido. Geralmente assume-se que os casos (a) e (c) foram excluídos pela seleção de instrumentos com uma faixa adequada (com base em observação preliminar ou conhecimento prévio). Pode-se definir uma entropia para esse conjunto a priori, expressando o grau de incerteza inicial sobre qual será o resultado da medição. A medição é realizada, mas devido a erros experimentais, existe um conjunto completo de valores, cada um dos quais poderia ter originado o valor observado. Uma entropia também pode ser definida para esse conjunto a posteriori, expressando quanta incerteza ainda permanece sem solução após a medição. Podemos definir a quantidade de informação física obtida a partir da medição como a diferença entre as entropias inicial (a priori) e final (a posteriori). Podemos falar de entropia de posição, entropia angular, etc., e observar que agora temos uma medida quantitativa do rendimento de informação de um experimento. Um determinado procedimento de medição fornece um conjunto de alternativas. A interação entre o objeto de interesse e o aparelho de medição resulta na seleção de um subconjunto dessas alternativas. Quando os resultados desse processo de seleção se tornam conhecidos pelo observador, a medição foi concluída.

Agora é fácil perceber que existe uma analogia entre comunicação e medição, que na verdade equivale a uma identidade em termos de estrutura lógica.

A Figura 1 ilustra isso de forma menos abstrata. Os blocos e as legendas superiores seguem a caracterização de Shannon de um sistema de comunicação; as legendas inferiores fornecem termos análogos para um aparelho de medição. O sistema de interesse corresponde à fonte de informação, e o observador, ao destino para o qual a mensagem se destina. A mensagem corresponde a uma medida da propriedade de interesse, que geralmente é codificada pelo transmissor ou aparelho de medição em um sinal composto por variações portadoras de informação de alguma grandeza física, frequentemente bastante distinta daquela de interesse direto. O sinal, corrompido por ruído ou erros, é decodificado pelo receptor ou indicador e apresentado como uma mensagem ou valor medido na saída do sistema. A calibração em medição é, em parte, análoga à correção de distorção em comunicação. Na prática, um sistema de comunicação ou medição geralmente consiste em vários subsistemas em série, com os intermediários servindo como destinos para seus predecessores e como fontes para seus sucessores. O aparelho sensorial e nervoso do observador pode ser considerado o sistema fundamental que, juntamente com instrumentos, operações e equipamentos, constitui o meio pelo qual a mente do cientista se comunica com o universo ou adquire informações sobre ele.

Algumas implicações da perspectiva informacional devem ser consideradas. Em primeiro lugar, a entropia da teoria da informação é, exceto por uma constante que depende da escolha das unidades, uma generalização direta do conceito de entropia da mecânica estatística. A teoria da informação é matemática abstrata que lida com conjuntos mensuráveis, com escolhas entre alternativas de natureza não especificada. A mecânica estatística lida com conjuntos de alternativas fornecidas pela física, sejam elas funções de onda, como na definição quântica de Planck, ou as complexões no espaço de fase da estatística quântica clássica. Distinguir entre partículas idênticas (o que leva ao paradoxo de Gibbs e à não aditividade da entropia) é equivalente a reivindicar informações que não estão disponíveis, pois não há medição que as forneça. Quando essa informação inexistente é descartada, o paradoxo desaparece. Números de simetria, condições de acessibilidade e paridade são itens adicionais de informação (positiva ou negativa) que entram nos cálculos da entropia quântica.

Em segundo lugar, podemos formular a expressão estatística da segunda lei da termodinâmica de forma bastante simples em termos de informação: Nossa informação sobre um sistema isolado nunca pode aumentar (somente por meio de medição é possível obter novas informações). Processos reversíveis conservam informação, enquanto processos irreversíveis a perdem.

Em terceiro lugar, todas as leis físicas se tornam relações entre tipos de informação, ou funções de informação coletadas ou construídas de acordo com vários procedimentos. A diferença entre a mecânica clássica ou quântica, por um lado, e a estatística clássica ou quântica, por outro, reside no fato de que a primeira se preocupa com a informação teoricamente máxima, enquanto a segunda se preocupa com uma informação inferior à máxima. Do ponto de vista atual, portanto, a mecânica clássica e a quântica são casos limite das estatísticas correspondentes, e não disciplinas separadas. Os casos limite opostos — ou seja, informação mínima ou entropia máxima — relacionam-se às distribuições de equilíbrio tratadas em textos sobre mecânica estatística. O vasto campo, quase virgem, da física de não equilíbrio situa-se entre esses dois extremos. É tentador especular que a matéria viva se distingue, ao menos em parte, por possuir uma grande quantidade de informação codificada em sua estrutura. Essa informação estaria na forma de "instruções" (restrições) que limitam a multiplicidade de possibilidades para seu comportamento físico-químico. Talvez as instruções para o desenvolvimento de um organismo estejam "programadas" nos genes, assim como o funcionamento de uma gigantesca máquina de calcular, composta por milhões de operações paralelas ou consecutivas, é programado em uma unidade de controle. Schrödinger, em seu fascinante livrinho " O Que É a Vida? ", considera a matéria viva como caracterizada por seu comportamento "disentrópico", mantendo sua organização ao se alimentar de "entropia negativa", cujo preço termodinâmico é um aumento compensatório na entropia de seus resíduos. A estabilidade dos genes é vista como um efeito quântico, como a estabilidade dos átomos. Considerando a discussão anterior, o leitor não terá dificuldade em encaixar isso no quadro informativo acima.

Retornando a questões mais prosaicas, notamos, em quarto lugar, que o progresso tanto na teoria da medição quanto na teoria da comunicação beneficiará a outra. Sua equivalência lógica permite a transposição imediata dos resultados de uma área para a outra. A teoria dos erros e do ruído, do poder de resolução e do sinal mínimo detectável, da melhor utilização do canal em comunicação e do projeto experimental ótimo são três exemplos de pares nos quais se pode esperar, com segurança, uma fertilização cruzada mútua.

Em quinto lugar, valores absolutamente exatos de grandezas medidas são, em geral, inatingíveis. Por exemplo, uma quantidade infinita de informação é necessária para especificar uma grandeza capaz de assumir um contínuo de valores. Apenas um conjunto de valores possivelmente "verdadeiros" ou "reais" é determinado pela medição. Na mecânica clássica, onde o estado de um sistema é especificado fornecendo-se simultaneamente as posições e os momentos de todas as partículas do sistema, duas suposições são feitas neste ponto: que a entropia das medições individuais pode ser reduzida a zero e, além disso, que isso pode ser feito simultaneamente para todas as grandezas necessárias para determinar o estado do sistema. Em outras palavras, os conjuntos podem ser tornados arbitrariamente precisos em princípio, e esses valores precisos podem ser tomados como valores "verdadeiros". Na mecânica quântica atual, a primeira suposição é mantida, mas a segunda é descartada. Os conjuntos de valores de posição e momento não podem ser tornados precisos simultaneamente por nenhum procedimento de medição. Restam-nos conjuntos irredutíveis de possíveis valores "verdadeiros" de momento, consistentes com a informação de posição disponível a partir de medições anteriores. Assim, parece natural, senão inevitável, concluir que a mecânica quântica descreve o conjunto de sistemas consistentes com a informação que especifica um estado, e não um sistema individual. A função de onda é uma espécie de função geradora para toda a informação dedutível da especificação operacional do modo de preparação do sistema, e a partir dela podem ser calculadas as probabilidades de se obterem os valores possíveis das grandezas mensuráveis. Em termos de comunicação, a natureza estocástica da fonte da mensagem — isto é, o conjunto de mensagens possíveis e suas probabilidades — é especificada, mas não a mensagem individual. A entropia de um dado estado para mensagens na linguagem x , na linguagem p ou em qualquer outra linguagem pode ser calculada de acordo com as regras usuais. Ela se anula na linguagem de um dado observável se, e somente se, o estado for um autoestado desse observável. Para um autoestado de um operador que comuta com o Hamiltoniano, todas as entropias são constantes no tempo, de forma análoga às distribuições de equilíbrio na mecânica estatística. Isso resulta do fato de que a mudança com o tempo é expressa por uma transformação unitária, deixando os produtos internos no espaço de Hilbert invariantes. O caso clássico correspondente é aquele com informação máxima, onde a entropia é zero e permanece assim. Para um pacote de ondas que representa o resultado de uma medição de posição, por outro lado, a distribuição se torna cada vez mais difusa com o passar do tempo, e sua entropia de posição aumenta. Conjecturamos, mas não provamos, que este é um caso especial de um novo tipo de teorema H quântico.

Sexto, a interpretação informacional parece resolver alguns paradoxos bem conhecidos ( 10 ). Por exemplo, se um sistema está em um autoestado de alguma observável e uma medição é feita em uma observável incompatível, a função de onda muda instantaneamente da autofunção original para uma da segunda observável. No entanto, a equação de Schrödinger exige que a função de onda mude continuamente com o tempo. De fato, o sistema de interesse e o equipamento de medição podem ser considerados um único sistema que não é perturbado e, portanto, varia continuamente. Essa anomalia causal e o paradoxo da ação à distância desaparecem na perspectiva informacional. A variação contínua ocorre desde que nenhuma nova informação seja obtida que seja incompatível com a antiga. Novas informações resultam da medição e requerem um novo conjunto representativo. O sistema de interesse poderia "realmente" mudar continuamente, mesmo que nossa informação sobre ele não mudasse. Não há problema em acreditar, como Einstein , em um estado "real" de um sistema individual, desde que se lembre que a mecânica quântica não permite uma definição operacional do mesmo. O paradoxo de Einstein-Podolsky-Rosen ( 11 ), juntamente com o seu aprimoramento por Schrödinger ( 12 ), parece ser resolvido de maneira semelhante. Aqui, dois sistemas interagem por um curto período e são então completamente separados. A medição de um sistema determina o estado do outro. Mas o tipo de medição está sob o controle do experimentador, que pode, por exemplo, escolher qualquer um de um par de observáveis complementares. Ele obtém uma de um par de funções de onda incompatíveis sob condições em que um estado objetivo ou "real" do sistema não pode ser afetado. Se a função de onda descreve um sistema individual, deve-se renunciar a toda crença em seu estado objetivo ou "real". Se a função de onda apenas carrega informação e descreve conjuntos consistentes com ela, não há paradoxo, pois um sistema individual pode ser compatível com ambos os conjuntos não equivalentes, desde que eles tenham uma interseção não vazia. O tipo de informação obtida simplesmente varia com o tipo de medição escolhida.

Encerramos com algumas observações gerais.

Primeiramente, é possível acreditar em um estado objetivo "real" de um sistema quântico-mecânico sem contradição. Como Bohr e Heisenberg demonstraram, estados de posição e momento definidos simultaneamente, na mecânica quântica, são incompatíveis porque se referem a resultados simultâneos de dois procedimentos mutuamente exclusivos. Mas, se uma variável não é medida, sua operação correspondente não foi realizada e, portanto, variáveis não medidas não precisam corresponder a operadores. Assim, não precisa haver conflito com as condições quânticas. Se negarmos a realidade simultânea da posição e do momento, então a Princípio da Relatividade Exclusiva (PRE) força a conclusão de que um ou outro assume realidade apenas quando medido. Ao aceitar esse ponto de vista, não deveríamos assumir, por consistência, que os elétrons em um átomo não têm realidade, porque qualquer tentativa de localizá-los por um fóton ionizará o átomo O elétron, então, torna-se real (isto é, é "fabricado") apenas como resultado de uma tentativa de medir sua posição. De modo semelhante, também se deve abandonar a noção de um contínuo de espaço e tempo, pois só se pode medir uma infinidade enumerável de localizações ou instantes, e mesmo isso é uma idealização, enquanto um contínuo é incontável. Se admitirmos como simultaneamente reais todas as posições ou tempos que possam ser medidos, então, por coerência, a realidade simultânea da posição e do momento deve ser admitida, pois qualquer um deles pode ser medido.

Em segundo lugar, é possível acreditar em um universo estritamente causal sem contradição. A indeterminação quântica pode ser interpretada como reflexo da impossibilidade de obter informações suficientes (por meio de medições) para permitir a previsão de valores únicos para todas as observáveis. Um demônio que pudesse obter informações físicas de outras maneiras que não por meio de medições poderia então vislumbrar um universo causal. A prova de Von Neumann da impossibilidade de tornar a mecânica quântica causal pela introdução de parâmetros ocultos pressupõe que esses parâmetros sejam valores que variáveis internas possam assumir, sendo que as próprias variáveis satisfazem condições quânticas. Causalidade e realidade (isto é, objetividade) foram, portanto, rejeitadas por razões semelhantes. Os argumentos para sua rejeição não precisam ser considerados conclusivos para um sistema individual se a mecânica quântica for vista como uma mecânica estatística gibbsiana de conjuntos.

O terceiro ponto está intimamente ligado a este — ou seja, a mecânica quântica é incompleta no sentido de Einstein e completa no sentido de Bohr ( 13 ). A primeira exige um lugar na teoria para o estado "real" ou objetivo de um sistema individual; a segunda exige apenas que a teoria descreva corretamente o que resultará de um procedimento operacional específico — isto é, um conjunto, de acordo com o ponto de vista atual. Acreditamos que não há razão para excluir a possibilidade de que possa existir uma teoria completa no sentido de Einstein e que produza mecânica quântica na forma de inferências lógicas. Na analogia da comunicação, o ponto de vista operacional de Bohr corresponde a exigir que o conjunto de mensagens possíveis seja descrito corretamente pela teoria quando o procedimento que determina a fonte da mensagem é fornecido com o máximo de detalhes. Isso corresponde à atitude do técnico de telefonia que se preocupa em transcrever a voz humana, mas que é indiferente ao significado das mensagens. A atitude de Einstein implica que as mensagens podem ter significado, sendo o significado específico a ser transmitido o determinante da mensagem selecionada. Assim como nenhum circuito telefônico consegue gerar semântica, a "realidade" também parece estar além da experimentação como a conhecemos. Parece arbitrário, no entanto, concluir que o problema da realidade é insignificante ou irremediavelmente irrelevante para a ciência. É concebível, por exemplo, que uma longa sequência de medições alternadas em duas variáveis não comutativas, realizadas em um único sistema, possa sugerir novos tipos de regularidade. Estas, é claro, teriam que produzir os valores esperados da mecânica quântica.

1. SZILARD, L. Z. Physik , 53, 840 (1929).
2. HARTLEY, RVL Bell System Tech. J. , 27, 535 (1928).
3. WIENER, N. Cybernetics . Nova York: Wiley (1950).
4.______ The Extrapolation, Interpolation and Smoothing of Time Series . Nova York: Wiley (1950).
5. SHANNON, CE Bell System Tech. J. , 27, 279, 623 (1948): Proc. IRE , 37, 10 (1949). 6. TULLER, WG Proc. IRE , 37, 468 (1949).
7. GABOR, D. J. Inst. Elec. Engrs. (Londres), Pt. III, 93, 429 (1946); Phil. Mag. , 41, 1161 (1950).
8. MACKAY, DM Phil. Mag., 41, 289 (1950).
9. BRILLOUIN, LJ Applied Phys., 22, 334, 338 (1951).
10. REICHENBACH, H. Fundamentos Filosóficos da Mecânica Quântica. Berkeley: Univ. Calif. Press (1944).
11. EINSTEIN, A., PODOLSKY, B., e ROSEN, N. Phys. Rev. , 47, 777 (1935).
12. SCHROEDINGER, E. Proc. Cambridge Phil. Soc. , 31, 555 (1935); 32, 466 (1936).
13. BOHR, N. Phys. Rev. , 48, 696 (1935).