Informationsmængde

Informationsmængde $I$ er inden for informationsteori et kvantitativt mål for mængden af information, der kommer fra en måling eller et udsagn. Hvis udsagnet har sandsynligheden $P$ for at være sandt uden a priori viden, er informationsmængden defineret som:

$I=-{\log }_{2}P$

Hvis et system kan være i forskellige tilstande med hver deres sandsynlighed, kan en gennemsnitlig informationsmængde beregnes. Dette kaldes også for entropien.

Motivation

Informationsmængde kan forstås ved at overveje, hvilke egenskaber mængden bør have:

1. Hvis et udsagn siger noget åbenlyst, der altid er rigtigt, vil sandsynligheden $P$ for, at udsagnet er rigtigt være 1, mens informationen må være 0. Funktionen $f$, der beskriver informationsmængden, skal altså opfylde:

$I=f(P=1)=0$

2. Hvis noget er mere usandsynligt, må informationen i udsagnet omvendt blive større. Ændring i informationsmængde $\mathrm{\Delta }I$ og ændring i sandsynlighed $\mathrm{\Delta }P$ må altså have omvendte fortegn:

$\mathrm{sgn}(\mathrm{\Delta }I)=-\mathrm{sgn}(\mathrm{\Delta }P)$

3. Hvis der bliver givet to udsagn med hver deres uafhængige sandsynlighed, er sandsynligheden for at begge er rigtige givet ved produktet:

$P_{\text{tot}}=P_1{P}_2$

Information ville dog normalt blive tænkt på som noget, der kan lægges oven i tidligere information. Dvs. at den samlede information skal være summen:

$I_{\text{tot}}=I_1+I_2$

Derfor skal informationsmængden være en funktion af sandsynlighed, så den opfylder:

$f(P_1{P}_2)=f(P_1)+f(P_2)$

Krav 3 opfyldes af logaritmen $\log$, så informationsmængde må generelt kunne defineres som:

$I=-k\log P$

Her sørger det negative fortegn for, at definitionen overholder krav 2. Hvis en sandsynlighed for 1 sættes ind, giver logaritmen 0, så krav 1 er også opfyldt. Konstanten $k$ skal være positiv, men kan ellers vælges frit. I informationsteori sættes konstanten typisk til 1. Inden for statistisk mekanik i fysik er konstanten dog lig med Boltzmanns konstant.

Logaritmens basis kan også frit vælges, men typisk vælges to-talslogaritmen ${\log }_2$ i informationsteori skønt den naturlige logaritme $\ln$ bruges i fysik. Dermed bliver den endelige definition:

$I=-{\log }_{2}P$

Enheden for informationsmængde er da bits.