Entropi (informationsteori)

I informationsteori er entropi (også informationsentropi eller Shannon-entropi) en måde at betegne og give værdi til evolution og vækst i viden. Især KI-applikationer gør brug af entropi til at læse informationer. De sammenligner simpelthen systemets dele og vælger det stykke data med mindst (~0) entropi.

Entropien $S$ er givet ved en sum over alle mulige tilstande:

$S=-\sum _i{P}_i{\log }_2{P}_i$

hvor $P_i$ er sandsynligheden for tilstanden $i$.

Entropien opnås være at tage gennemsnittet af informationsmængden for hvert udfald:

$I_i=-{\log }_2{P}_i$

For et system med forskellige udfald $i$ er entropien altså den gennemsnitlige informationsmængde, der opnås ved en måling. Jo højere entropien er, jo større usikkerhed er der omkring udfaldet.

Inden for fysikken kaldes den tilsvarende ligning for Gibbs' entropiformel.

Simpelt eksempel

I det følgende gives eksempler på beregning af entropi.

Møntkast

To bit entropi: For to ærlige møntkast er der 4 mulige udfald, og informationsentropien er to-tals-logaritmen til 4, hvilket giver 2 bit. For $N$ møntkast er entropien $N$ bit.

Når en ærlig mønt bruges til at slå plat eller krone, har den 50 % - dvs. $\frac{1}{2}$ - sandsynlighed for at lande på krone og 50 % sandsynlighed for at lande på plat. Informationsmængden for hver udfald er derfor:

$I=-{\log }_2\frac{1}{2}={\log }_{2}2=1\text{ bit}$

Den gennemsnitlige informationsmængde - entropien - for ét mønstkast er derfor også 1:

$S_1=-[\frac{1}{2}{\log }_2\left(\frac{1}{2}\right)+\frac{1}{2}{\log }_2\left(\frac{1}{2}\right)]=-{\log }_2\frac{1}{2}={\log }_{2}2=1\text{ bit}$

For to mønter fordobles informationsmængden ,og derfor bliver entropien 2. Der er nemlig 4 mulige udfald med to mønter, og hvert udfald har 25 % sandsynlighed, så:

$S_2=-4\left[\frac{1}{4}{\log }_2\left(\frac{1}{4}\right)\right]={\log }_{2}4={\log }_2{2}^2=2{\log }_{2}2=2\text{ bit}$

Da antallet af mulige udfald fordobles med hver mønt, må antallet af mulige udfald for et arbitrært antal $N$ mønter være $2^N$. Sandsynligheden per udfald $i$ er derfor:

$P_i=\frac{1}{2^N}$

Og derfor er entropien:

$S_N=-2^N\left[\frac{1}{2^N}{\log }_2\left(\frac{1}{2^N}\right)\right]={\log }_2\left(2^N\right)=N{\log }_{2}2$

Entropien for $N$ møntkast er altså simpelthen $N$.

$S_N=N\text{ bit}$

Så jo flere mønter, jo højere entropi, da hvert udfald bliver mere og mere usandsynligt, og informationen omvendt bliver større og større.

Bernoulli-proces

Entropi som funktion af sandsynligheden for udfald 1. For en Bernoulli-proces er entropien maksimal, når begge udfald er lige sandsynlige, mens entropien er nul, når kun ét af udfaldene er muligt.

En Bernoulli-proces er en måling, hvor der er to mulige udfald med sandsynlighederne $p$ og $1-p$

$\begin{array}{cc}{P}_1& =p\\ P_2& =1-p\end{array}$

hvor $p$ er konstant. Dette er en generalisering af den ærlige mønt, hvor $p=\frac{1}{2}$. Entropien er:

$S(p)=-p{\log }_2(p)-(1-p){\log }_2(1-p)$

For $p=\frac{1}{2}$ er entropien 1 som før, men for $p=0$ - dvs. hvis udfald 1 er umuligt - bliver entropien:

$S(0)=-0{\log }_2(0)-1{\log }_2(1)=0\text{ bit}$

Entropien ville også være 0 bit, hvis kun udfald 2 var muligt. Hvis kun ét udfald er muligt, er der ikke længere nogen usikkerhed, mens usikkerheden er størst, hvis begge udfald er lige sandsynlige (se figur).