Petite pépite exhumée des archives InfoTekArt : la définition mathématique de l’information qui nous emporte vers des concepts insoupçonnés…
« La quantité d’information dans un message est inversement proportionnelle à la probabilité d’apparition de ce message. »
Ce n’est pas moi qui le dit mais Claude Shannon, l’inventeur en 1949 de la seule grande théorie de l’information, celle qui a créé le bit et donné naissance à l’informatique.
Si je sais à l’avance ce que tu vas me dire, il n’y a pas d’info! C’est pas beau?
Shannon a même trouvé la formule (ci-dessus) en calculant l’entropie ou logon.
L’entropie exprimée en bits est égale à moins la somme des probabilités des diverses éventualités possibles multipliées par le logarithme de base 2 de ces probabilités.
Exemple : si je tire à pile ou face, la probabilité p de pile (comme celle de face) est de ½, l’entropie H sera :
H = – (1/2 log ½) + (1/2 log ½ ) = – 2 (1/2 log ½ ) = – log ½ = 1 bit.
Le bit est donc tout simplement la quantité d’information qui émerge dans la réponse « oui » ou « non » à une question ; d’où la naissance de l’informatique qui adore ce genre de réponse par oui ou par non, par 0 ou 1 : dans tel circuit, dans tel composant, le courant passe ou ne passe pas. Un point , c’est tout.
On peut aller très loin dans la réflexion intellectuelle par la succession de réponses en oui ou non…
première publication : 24 novembre 2004 (un des premiers articles d’InfoTekArt!)