Soit un ensemble discret d'événements ,
. On note
leur probabilité de réalisation, avec bien entendu l'égalité
. Pour nous, ces événements discrets correspondent à des microétats
accessibles au système étudié.
Définition: On définit l'entropie statistique (ou entropie d'information) d'un système par:
![]() |
(2.6) |
Le principe fondamental de la théorie de l'information est qu'à l'équilibre, l'information d'un système doit être minimale, ce qui revient à dire que son entropie d'information - ou information manquante - doit être maximale. Nous démontrerons dans la section 3.1, par la méthode des multiplicateurs de Lagrange, que l'entropie d'information d'un système est maximale lorsque ses microétats accessibles sont tous équiprobables (distribution microcanonique d'un système isolé). Nous verrons dans ce cas que
et
.