awk

Was awk macht

awk liest Text zeilenweise, zerlegt jede Zeile automatisch an einem Field Separator (Default: Whitespace) in Felder und führt eine Reihe von Regeln darauf aus. Eine Regel besteht aus einem Pattern und einer Action — das Pattern entscheidet, ob die Action läuft, und die Action sagt, was zu tun ist. Fehlt das Pattern, gilt die Action für jede Zeile; fehlt die Action, wird die Zeile ausgegeben.

Diese Doppelnatur macht awk zum Klassiker für strukturierte Daten: Logs, /etc/passwd-ähnliche Konfigdateien, CSV-Exports, ps-Ausgaben, df-Statistiken. Überall, wo jede Zeile ein Datensatz und jedes Whitespace-getrennte Stück ein Feld ist, ist awk das richtige Werkzeug.

awk '{print $1}' datei.txt

Drei awk-Implementationen

Hinter dem Namen awk stecken mehrere Implementierungen mit unterschiedlichem Funktionsumfang. Je nach System ruft awk eine andere Variante auf — was bei portablen Skripten zur Falle werden kann.

gawk bringt die meisten Extras mit: gensub, length(array), Netzwerk-I/O, Time-Funktionen, Internationalisierung. Auf Linux ist awk meist ein Symlink auf gawk. Auf macOS dagegen ist awk BSD-awk — wer GNU-Features nutzt, sollte sie portabel halten oder via Homebrew gawk installieren.

awk --version 2>&1 | head -1

Grundsyntax: Pattern { Action }

Jede awk-Regel folgt dem Schema Pattern { Action }. Beide Teile sind optional, aber mindestens einer muss da sein. Ein leeres Pattern bedeutet “trifft auf jede Zeile zu”, eine leere Action bedeutet “gib die Zeile aus” (also { print }).

awk '{print $1}' file

awk '/ERROR/' log

awk 'NR==5' file

Mehrere Regeln werden einfach hintereinander geschrieben — awk probiert für jede Eingabezeile alle Regeln in der Reihenfolge ihres Auftretens. Das Skript steht entweder direkt in einfachen Quotes auf der Kommandozeile oder in einer Datei, die mit -f script.awk geladen wird.

Felder und Spezialvariablen

Die Stärke von awk liegt in seinen vordefinierten Variablen. Sie geben Zugriff auf Felder, Zeilennummern und steuern, wie Ein- und Ausgabe getrennt werden.

FS setzt man entweder per -F auf der Kommandozeile oder im BEGIN-Block. $NF ist ein Idiom für “letztes Feld”, $(NF-1) für das vorletzte. Das Feld-Indexing ist 1-basiert — $0 ist die ganze Zeile, nicht das erste Feld.

awk -F',' '{print $2}' daten.csv

awk 'BEGIN{FS=":"; OFS="|"} {print $1, $7}' /etc/passwd

BEGIN und END

Zwei spezielle Patterns laufen nicht pro Zeile, sondern einmal: BEGIN vor der ersten Zeile, END nach der letzten. Damit baut man Header, Footer, Initialisierungen und Summen.

awk 'BEGIN{sum=0} {sum+=$2} END{print sum}' zahlen.txt

BEGIN ist der richtige Ort, um FS, OFS und eigene Variablen zu setzen, Header auszugeben oder Lookup-Tabellen zu initialisieren. END summiert auf, druckt Statistiken oder iteriert über assoziative Arrays, die während des Hauptlaufs gefüllt wurden. Mehrere BEGIN- und END-Blöcke sind erlaubt und werden in Reihenfolge abgearbeitet.

awk 'BEGIN{print "Start"} {print NR, $0} END{print "Total:", NR}' file

Pattern-Typen

Patterns sind nicht auf Regex beschränkt. awk kennt mehrere Formen, die sich kombinieren lassen.

Range-Patterns sind besonders praktisch für das Extrahieren von Blöcken — alles zwischen zwei Markern, etwa zwischen BEGIN_LOG und END_LOG. Das Range-Pattern bleibt aktiv, bis das End-Pattern matcht, und schließt beide Marker mit ein.

awk '/ERROR/ && $3 > 100 {print $0}' app.log

awk '/BEGIN_BLOCK/,/END_BLOCK/' input.txt

Kontrollstrukturen und Built-ins

Innerhalb der Action stehen alle klassischen Kontrollstrukturen zur Verfügung: if/else, for, while, do-while, break, continue. Variablen brauchen keine Deklaration — werden sie genutzt, existieren sie. Strings und Zahlen werden bei Bedarf automatisch konvertiert.

awk '{
  if ($3 > 100) print $1, "hoch"
  else print $1, "niedrig"
  for (i = 1; i <= NF; i++) total += $i
}' werte.txt

Die wichtigsten eingebauten Funktionen:

printf mit %-20s %10.2f\n formatiert Spalten sauber — wesentlich praeziser als print mit einfachem Komma.

Assoziative Arrays

Das Killer-Feature von awk: Arrays sind immer assoziativ. Jeder String, jede Zahl kann als Schlüssel dienen — keine Initialisierung, keine Größen-Definition. Damit werden Häufigkeitsanalysen zu Einzeilern.

awk '{count[$1]++} END {for (k in count) print count[k], k}' log.txt

count[$1]++ zählt für jeden Wert in Spalte 1 hoch — beim ersten Auftreten ist count[$1] undefiniert, wird aber implizit als 0 behandelt und auf 1 erhöht. Im END-Block iteriert for (k in count) über alle Schlüssel.

awk '{ips[$1]++} END {for (ip in ips) print ips[ip], ip}' access.log | sort -rn | head -20

Die Iterations-Reihenfolge ist nicht garantiert — awk nutzt intern eine Hashtabelle. Wer sortiert ausgeben will, leitet die Ausgabe an sort weiter (siehe Beispiel oben). gawk kennt zusätzlich PROCINFO["sorted_in"], mit dem sich for (k in arr) direkt sortiert iterieren lässt.

Praxis-Patterns

Die Einzeiler, die im Alltag immer wieder gebraucht werden — als Vorlage zum Anpassen.

awk '{s+=$2} END{print s}' werte.txt

awk -F',' '{print $3}' daten.csv

awk '{count[$1]++} END {for (k in count) print count[k], k}' log | sort -rn

awk '{s+=$1; n++} END {print s/n}' zahlen.txt

awk '$3 > 1000 {print $1, $3}' werte.txt

awk -F: 'BEGIN{OFS="|"} {print $1, $7}' /etc/passwd

awk 'NR==FNR{a[$1]=1; next} $2 in a' liste.txt daten.txt

Das letzte Pattern ist ein Klassiker: Im ersten Durchlauf (NR==FNR — globale Zeilennummer gleich Datei-Zeilennummer, also erste Datei) wird ein Lookup-Set aufgebaut. next springt zur nächsten Zeile, ohne weitere Regeln zu prüfen. Sobald die zweite Datei beginnt, ist NR > FNR und nur die zweite Regel greift: gibt die Zeile aus, wenn Spalte 2 im Set steht.

awk '{printf "%-20s %10.2f\n", $1, $2}' werte.txt

Weiterführende Ressourcen

Externe Quellen

• awk(1) – Manpage (man7.org) — POSIX-awk Referenz
• GNU AWK User’s Guide — Das vollständige gawk-Handbuch mit allen Erweiterungen
• Arch Wiki: Awk — Kompakter Einstieg und praktische Beispiele
• The AWK Programming Language (Aho/Weinberger/Kernighan) — Das Originalbuch der Sprachschoepfer, 2. Auflage 2024
• Miller (mlr) – Like awk for structured data — Moderne Alternative für CSV, TSV und JSON

Verwandte Artikel

• sed – Stream-Editor — Zeilenbasierte Substitution als Partner zu awk
• grep – Zeilen filtern — Reine Pattern-Suche ohne Action
• cut – Spalten ausschneiden — Schlankere Variante für reines Spalten-Picking
• sort – Zeilen sortieren — Klassischer Nachfolger für awk-Häufigkeitsausgaben
• uniq – Duplikate zählen — Ergänzt awk-Counts mit sort | uniq -c