/ Informationstheorie

Informationsgehalt

Informationsgehalt eines Einzelereignisses: I = −log₂(p) = log₂(1/p). Seltene Ereignisse tragen mehr Information.

Informationsgehalt

01 · Eingabe

Informationsgehalt berechnen

Informationsgehalt eines Einzelereignisses: I = −log₂(p) = log₂(1/p). Seltene Ereignisse tragen mehr Information.

Lösen für

I = -log₂(p)

p Wahrscheinlichkeit

Worum geht es?

Der Informationsgehalt I eines Einzelereignisses misst, wie überraschend dieses Ereignis ist. Je kleiner die Wahrscheinlichkeit p, desto höher der Informationsgehalt.

Bei p = 1/2 trägt das Ereignis genau 1 Bit, bei p = 1/256 sind es 8 Bit. Die Shannon-Entropie ist nichts anderes als der mit den Wahrscheinlichkeiten gewichtete Mittelwert dieser Einzelbeträge.

Die Formel

Formel Informationsgehalt

I = −log₂(p) = log₂(1 / p)

Umstellung:
    p = 2^(−I)

Die Variablen

Symbol	Bedeutung	Einheit	Erklärung
p	Wahrscheinlichkeit	—	Wahrscheinlichkeit des Einzelereignisses.
I	Informationsgehalt	Bit	Informationsgehalt des Ereignisses in Bit.

Minimal-Beispiel

Buchstabe mit relativer Häufigkeit p = 0,1:

Rechnung Einzelzeichen

I = −log₂(0,1)
  ≈ 3,32 Bit

Praxis-Beispiele

Beispiel 1 — Faire Münze

Rechnung Kopf oder Zahl

I = −log₂(0,5)
  = 1 Bit

Beispiel 2 — Würfelwurf

Eine bestimmte Augenzahl auf dem fairen Würfel:

Rechnung Würfel

I = −log₂(1 / 6)
  ≈ 2,585 Bit

Beispiel 3 — Rückrechnung Wahrscheinlichkeit

Ein Ereignis liefert 4 Bit Information:

Rechnung p aus I

p = 2^(−4)
  = 1 / 16
  = 0,0625