Shannon-Entropie
Mittlerer Informationsgehalt einer diskreten Quelle: H = −Σ pᵢ · log₂(pᵢ). Formel hier für drei Symbole mit Wahrscheinlichkeiten p1, p2, p3.
Shannon-Entropie berechnen
Mittlerer Informationsgehalt einer diskreten Quelle: H = −Σ pᵢ · log₂(pᵢ). Formel hier für drei Symbole mit Wahrscheinlichkeiten p1, p2, p3.
Worum geht es?
Die Shannon-Entropie misst den mittleren Informationsgehalt einer diskreten Quelle. Sie gibt an, wie viele Bit pro Symbol mindestens benötigt werden, um eine Nachricht der Quelle verlustfrei zu kodieren.
Je gleichmäßiger die Wahrscheinlichkeiten verteilt sind, desto höher ist die Entropie. Eine deterministische Quelle (eine Wahrscheinlichkeit gleich 1) hat die Entropie 0 — sie liefert keine Information.
Die Formel
H = −Σ pᵢ · log₂(pᵢ)
Für drei Symbole:
H = −(p1 · log₂(p1) + p2 · log₂(p2) + p3 · log₂(p3))Die Variablen
| Symbol | Bedeutung | Einheit | Erklärung |
|---|---|---|---|
| p1 | Wahrscheinlichkeit 1 | — | Wahrscheinlichkeit des ersten Symbols. |
| p2 | Wahrscheinlichkeit 2 | — | Wahrscheinlichkeit des zweiten Symbols. |
| p3 | Wahrscheinlichkeit 3 | — | Wahrscheinlichkeit des dritten Symbols. |
| H | Entropie | Bit | Mittlerer Informationsgehalt pro Symbol. |
Minimal-Beispiel
Drei gleichwahrscheinliche Symbole, jedes mit p = 1/3:
H = −3 · (1/3 · log₂(1/3))
= log₂(3)
≈ 1,585 BitPraxis-Beispiele
Beispiel 1 — Stark schiefe Verteilung
Drei Symbole mit p1 = 0,9, p2 = 0,08, p3 = 0,02:
H = −(0,9 · log₂(0,9)
+ 0,08 · log₂(0,08)
+ 0,02 · log₂(0,02))
≈ 0,137 + 0,292 + 0,113
≈ 0,542 BitDominantes Symbol senkt die Entropie deutlich unter den Maximalwert.
Beispiel 2 — Binärquelle
Zwei Symbole mit p = 0,5 (über p3 = 0 marginalisiert):
H = −(0,5 · log₂(0,5) + 0,5 · log₂(0,5))
= 1 BitBeispiel 3 — Deterministische Quelle
p1 = 1, p2 = 0, p3 = 0:
H = −(1 · log₂(1) + 0 + 0)
= 0 Bit