/ Informationstheorie

Kodierungseffizienz

Verhältnis aus Entropie und mittlerer Codewortlänge: Effizienz = H / L. Werte nahe 1 stehen für nahezu optimale Kodierung.

Kodierungseffizienz

01 · Eingabe

Kodierungseffizienz berechnen

Verhältnis aus Entropie und mittlerer Codewortlänge: Effizienz = H / L. Werte nahe 1 stehen für nahezu optimale Kodierung.

Lösen für

Effizienz = H / L

H Entropie

Bit

L Mittlere Codewortlänge

Bit

Worum geht es?

Die Kodierungseffizienz vergleicht die mittlere Codewortlänge L eines konkreten Codes mit der unteren Schranke aus der Entropie H. Werte nahe 1 stehen für nahezu optimale Kodierung.

Nach dem Quellencodierungstheorem gilt L ≥ H — der Bestwert ist Effizienz = 1. Huffman-Codes erreichen typischerweise Werte zwischen 0,9 und 1.

Die Formel

Formel Kodierungseffizienz

Effizienz = H / L

Umstellungen:
    H = Effizienz · L
    L = H / Effizienz

Die Variablen

Symbol	Bedeutung	Einheit	Erklärung
H	Entropie	Bit	Shannon-Entropie der Quelle.
L	Mittlere Codewortlänge	Bit	Mittlere Codewortlänge des Codes.
Effizienz	Kodierungseffizienz	—	Effizienz im Bereich 0–1 (1 = optimal).

Minimal-Beispiel

H = 1,75 Bit, L = 1,8 Bit:

Rechnung Effizienz

Effizienz = 1,75 / 1,8
          ≈ 0,972

Praxis-Beispiele

Beispiel 1 — Block-Code

Vier Symbole, Block-Code mit fester Länge 2 Bit, H = 1,5 Bit:

Rechnung Fixe Länge

Effizienz = 1,5 / 2
          = 0,75

Beispiel 2 — Huffman-Code nahe Optimum

H = 2,32 Bit, L = 2,38 Bit:

Rechnung Huffman

Effizienz = 2,32 / 2,38
          ≈ 0,975

Beispiel 3 — Erforderliche Codewortlänge

Eine Quelle hat H = 2,5 Bit und Du möchtest eine Effizienz von 0,9 erreichen:

Rechnung Mindest-L

L = 2,5 / 0,9
  ≈ 2,78 Bit