O significado original de probabilidade era "aprovação". Algo provável era digno de crença. Essa conotação se perdeu nos tempos modernos, à medida que a compreensão das probabilidades matemáticas se tornou mais difundida. Embora alguns epistemólogos ainda associem "graus de crença" a probabilidades epistêmicas.

As probabilidades são teorias a priori. As estatísticas são experimentos a posteriori.

A probabilidade a priori de dois dados mostrarem dois seis é 1/36. A probabilidade a priori pressupõe que não temos nenhuma informação que favoreça um resultado em detrimento dos outros. Este é o princípio da indiferença ou princípio da insuficiência de razão . Especificamente, pressupõe que todos os resultados são igualmente prováveis. Em suma, tudo o mais sendo igual, as coisas são iguais.

Se tivéssemos informações sobre uma diferença, ajustaríamos nossas probabilidades. O aumento em nossa informação ou "estado de conhecimento" é a ideia essencial na probabilidade Bayesiana .

E como poderíamos obter essas informações adicionais Realizando testes experimentais e coletando dados sobre a frequência dos resultados reais. Esse é o trabalho da estatística.

Na teoria das medições e dos erros de medição, encontramos dispersão nas medições quando medimos a mesma coisa repetidamente. Esses são os erros de medição. É muito importante distinguir os erros de medição das variações reais na coisa medida. Mas isso não é fácil, porque os erros e a distribuição natural dos valores de uma propriedade medida normalmente seguem a mesma função de distribuição.

Se os valores de alguma propriedade em uma população forem consequência de eventos aleatórios independentes, por exemplo, lançamentos de moeda que resultam em cara em vez de coroa, pode-se demonstrar que a distribuição segue a conhecida curva em forma de sino ou distribuição "normal".

Os próprios erros de observação são resultado de fatores aleatórios independentes, portanto seguem a mesma distribuição.

Essa função de distribuição foi descoberta na década de 1720 pelo matemático francês Abraham de Moivre . Ela foi associada a erros de medição por astrônomos que mediam as posições das estrelas no início do século XIX, notadamente pelo astrônomo belga Adolphe Quételet .

Uma escolha infeliz de termos levou a que isso fosse chamado de " lei dos erros". Matemáticos e filósofos chegaram à conclusão errônea de que, se os eventos aleatórios seguissem "leis", eles deveriam, de fato, ser determinados por essas leis.

A obra de De Moivre foi um livro famoso chamado "A Doutrina das Probabilidades". Na edição de 1738, ele descobriu que, no limite de um grande número de lançamentos de uma moeda, a expansão binomial discreta de ( p - q ) ⁿ poderia ser aproximada por uma curva matemática contínua (a curva de sino moderna).

Essa foi uma época em que a análise matemática e a continuidade carregavam uma aura de verdade causal determinística, em comparação com a natureza fortuita de eventos aleatórios individuais.

A curva foi inicialmente chamada de "distribuição normal" por Charles Sanders Peirce , que melhor do que qualquer outro filósofo articulou a diferença entre probabilidades a priori e estatísticas a posteriori .

Por razões filosóficas e físicas muito profundas (basicamente a natureza discreta e fundamental da natureza), encontramos uma distribuição aleatória semelhante em muitas características físicas, biológicas e sociais. Observe que a distribuição dessas características é ontológica , não epistêmica . Não se trata do que os humanos podem saber, mas de como as coisas são em um mundo externo independente da mente.

No início do século XIX, cientistas sociais argumentavam que a aleatoriedade em muitas populações era regida por essa "lei". Adolphe Quetelet , astrônomo belga, desenvolveu a distribuição de erros como forma de analisar e reduzir os dados de observações astronômicas. Ele então encontrou a mesma função de distribuição em muitas estatísticas humanas, como o número de casamentos e suicídios por ano. Quetelet identificou "normas" para muitas características humanas, como a altura, e promoveu o conceito de homem médio ( l'homme moyen ). Ele e outros cientistas sociais concluíram erroneamente que a "lei" dessas distribuições normais confirmava a natureza fundamentalmente determinista do mundo.

Para a sensibilidade moderna, o argumento de que todos os eventos são determinados porque suas características são aleatórias e normalmente distribuídas parece ilógico e um tanto perverso. Mas esse era o compromisso filosófico e religioso dos cientistas do século XIX com as diversas formas de determinismo .

Se um único evento for determinado pelo acaso, então o indeterminismo seria verdadeiro, dizem alguns filósofos, o que minaria a própria possibilidade de conhecimento certo. Alguns chegam ao extremo de afirmar que o acaso torna o estado do mundo totalmente independente de quaisquer estados anteriores, o que é um absurdo, mas demonstra o quanto eles se preocupam com o acaso.

Em mecânica estatística, o estado de menor informação (equilíbrio) pode ser alcançado de muito mais maneiras do que estados com informação reconhecível. O macroestado de equilíbrio possui o maior número de microestados, cada um com probabilidade a priori igual . Se um sistema começa em um estado inicialmente ordenado (alta informação), ele tende a evoluir para estados de desordem (ausência de informação microscópica). O aumento da entropia (segunda lei da termodinâmica) é então visto como uma diminuição da informação. As equações matemáticas para entropia e informação são idênticas, exceto pelo sinal e por constantes arbitrárias.

Ambos são proporcionais ao logaritmo do número W de microestados, o que está de acordo com as informações do macroestado.

Tanto James Clerk Maxwell quanto Ludwig Boltzmann estavam familiarizados com o trabalho de Adolph Quételet e seu colega inglês Thomas Buckle . Maxwell, e provavelmente Boltzmann também, usaram a lei de distribuição de eventos aleatórios no limite de grandes números para ajudá-los a derivar a lei de distribuição das velocidades moleculares em um gás.