Eléments de théorie de l'information

Soit un ensemble discret d'événements $e_{\ell}$, $\ell \in \{1..N \}$. On note $P_{\ell}$ leur probabilité de réalisation, avec bien entendu l'égalité $$\sum_{\ell=1}^{N}{P_{\ell}} = 1$$. Pour nous, ces événements discrets correspondent à des microétats $\phi_{\ell}$ accessibles au système étudié.

Définition: On définit l'entropie statistique (ou entropie d'information) d'un système par:

$$\fbox{$\displaystyle S = -k\sum_{\ell=1}^N {P_{\ell} \ln P_{\ell}}$}$$ (2.6)

où $k$ est une constante positive. On imposera toutefois que $k$ soit la constante de Boltzmann $k_B$ afin de pouvoir identifier les entropies thermodynamique et statistique.

Le principe fondamental de la théorie de l'information est qu'à l'équilibre, l'information d'un système doit être minimale, ce qui revient à dire que son entropie d'information - ou information manquante - doit être maximale. Nous démontrerons dans la section 3.1, par la méthode des multiplicateurs de Lagrange, que l'entropie d'information d'un système est maximale lorsque ses microétats accessibles sont tous équiprobables (distribution microcanonique d'un système isolé). Nous verrons dans ce cas que $$\forall{\ell}\in\{1..N\}, P_{\ell} = \frac{1}{N} ~$$et$~ S_{max} = k_B \ln N$.