Redundanz
Relative Redundanz einer Quelle: R = 1 − H / Hmax. Hmax = log₂(Symbolanzahl) ist die maximale Entropie bei Gleichverteilung.
Redundanz berechnen
Relative Redundanz einer Quelle: R = 1 − H / Hmax. Hmax = log₂(Symbolanzahl) ist die maximale Entropie bei Gleichverteilung.
- R — Redundanz
- H — Entropie
- Hmax — Max. Entropie
Worum geht es?
Die Redundanz R einer Quelle gibt an, wie weit ihre tatsächliche Entropie H unter der maximalen Entropie Hmax = log₂(n) liegt. Sie ist ein direktes Maß für das verbleibende Kompressionspotenzial.
R = 0 bedeutet, dass die Quelle bereits optimal informationsdicht ist. R nahe 1 bedeutet hohe Vorhersagbarkeit — natürliche Sprache liegt typischerweise im Bereich 0,5 bis 0,8.
Die Formel
R = 1 − H / Hmax
Umstellungen:
H = (1 − R) · Hmax
Hmax = H / (1 − R)Die Variablen
| Symbol | Bedeutung | Einheit | Erklärung |
|---|---|---|---|
| H | Entropie | Bit | Tatsächliche Entropie der Quelle. |
| Hmax | Max. Entropie | Bit | Maximale Entropie log₂(n) bei n Symbolen. |
| R | Redundanz | — | Relative Redundanz (0 = keine, 1 = maximal). |
Minimal-Beispiel
Quelle mit H = 1,5 Bit und 4 Symbolen, also Hmax = 2 Bit:
R = 1 − 1,5 / 2
= 0,25Praxis-Beispiele
Beispiel 1 — Deutsche Schriftsprache
Mit ca. 30 Symbolen (Buchstaben + Leerzeichen) ist Hmax ≈ log₂(30) ≈ 4,91 Bit. Empirisch H ≈ 1,3 Bit:
R = 1 − 1,3 / 4,91
≈ 0,735Knapp drei Viertel des Speichers ließen sich theoretisch einsparen.
Beispiel 2 — Quelle ohne Redundanz
H = Hmax = 3 Bit:
R = 1 − 3 / 3
= 0Beispiel 3 — Hmax aus H und R
H = 2 Bit, R = 0,6:
Hmax = 2 / (1 − 0,6)
= 5 Bit