- Startseite
- Anleitung
- JSONL komprimieren: gzip, zstd und Brotli im Vergleich
JSONL komprimieren: gzip, zstd und Brotli im Vergleich
Ein Praxisleitfaden zur Komprimierung von JSONL-Dateien: Vergleichen Sie Kompressionsraten und Geschwindigkeitsbenchmarks und erfahren Sie, wann sich gzip, zstd oder Brotli für Ihre Datenpipelines, Cloud-Speicherung und die Auslieferung im Web eignen.
Warum JSONL-Dateien komprimieren?
JSONL-Dateien wachsen schnell. Schon die Anwendungslogs eines einzigen Tages können mehrere Gigabyte zeilenweise gespeichertes JSON umfassen. Datensätze für Machine Learning erreichen regelmäßig mehrere Dutzend Gigabyte. Ohne Komprimierung steigen die Speicherkosten, Übertragungen dauern länger und I/O wird zum Engpass in Ihrer Datenpipeline. Bei großen Datenmengen gehört Komprimierung deshalb zu den Grundlagen eines effizienten Umgangs mit JSONL-Daten.
Die gute Nachricht: JSONL lässt sich besonders gut komprimieren. In JSON-Texten wiederholen sich Schlüssel, Trennzeichen und Strukturmuster. Kompressionsalgorithmen nutzen diese Redundanz und können die Dateigröße um den Faktor 5 bis 15 reduzieren. Entscheidend ist die Wahl des passenden Algorithmus für Ihren Anwendungsfall: gzip bietet universelle Kompatibilität, zstd den besten Kompromiss zwischen Geschwindigkeit und Kompressionsrate und Brotli die stärkste Komprimierung für statische Ressourcen. Dieser Leitfaden vergleicht alle drei anhand realer Benchmarks, lauffähiger Codebeispiele und klarer Empfehlungen.
Kompressionsalgorithmen im Überblick
Bei der Komprimierung von JSONL kommen vor allem drei Algorithmen zum Einsatz. Sie verfolgen unterschiedliche Ansätze und sind für unterschiedliche Szenarien optimiert. Wer ihre Stärken und Schwächen kennt, kann den passenden Algorithmus für die eigene Arbeitslast wählen.
gzip (DEFLATE)
UniversellDer universelle Standard: gzip gibt es seit 1992, und es wird überall unterstützt – von jeder Programmiersprache, jedem Betriebssystem, jedem Cloud-Anbieter und jedem Webbrowser. Es verwendet den DEFLATE-Algorithmus, der LZ77 mit Huffman-Kodierung kombiniert. gzip ist weder am schnellsten noch am effizientesten. Dank seiner weiten Verbreitung ist es aber eine verlässliche Standardwahl, wenn Kompatibilität im Vordergrund steht.
Zstandard (zstd)
EmpfohlenDas 2016 von Facebook entwickelte zstd ist ein moderner Allrounder für die Datenkomprimierung. Es komprimiert und dekomprimiert deutlich schneller als gzip und erreicht dabei ähnliche oder bessere Kompressionsraten. zstd unterstützt außerdem die Komprimierung mit einem Wörterbuch. Das ist besonders effektiv bei JSONL-Dateien, deren Zeilen alle dieselbe Schlüsselstruktur haben. Für Datenpipelines und die Echtzeitverarbeitung ist zstd die beste Wahl.
Brotli
Höchste KompressionsrateDas von Google entwickelte Brotli erreicht unter den drei Algorithmen die höchsten Kompressionsraten, insbesondere auf den höchsten Kompressionsstufen. Es kombiniert LZ77 und Huffman-Kodierung mit einem integrierten statischen Wörterbuch für häufige Webinhalte. Brotli eignet sich besonders gut, um JSONL für die Auslieferung über HTTP und die statische Speicherung zu komprimieren. Auf hohen Stufen dauert die Komprimierung allerdings deutlich länger als mit gzip oder zstd.
Direktvergleich
Die folgende Tabelle zeigt die wichtigsten Unterschiede zwischen gzip, zstd und Brotli anhand der für JSONL relevanten Kennzahlen. Die Angaben beschreiben das typische Verhalten mit Standardeinstellungen. Die tatsächliche Leistung hängt von den Daten und der gewählten Kompressionsstufe ab.
| Kennzahl | gzip | zstd | Brotli |
|---|---|---|---|
| Kompressionsrate | Gut (5-8x) | Sehr gut (6-10x) | Ausgezeichnet (7-12x) |
| Geschwindigkeit beim Komprimieren | Mittel | Schnell | Langsam bis mittel |
| Geschwindigkeit beim Dekomprimieren | Mittel | Sehr schnell | Schnell |
| CPU-Auslastung | Mittel | Gering bis mittel | Hoch (auf höchster Stufe) |
| Browser-Unterstützung | Alle Browser | Chrome 123+, Firefox 126+ | Alle modernen Browser |
| Streaming-Unterstützung | Ja (nativ) | Ja (nativ) | Eingeschränkt |
Benchmark-Ergebnisse: eine JSONL-Datei mit 100 MB
Die folgenden Benchmarks liefern konkrete Zahlen zur Komprimierung einer 100 MB großen JSONL-Datei mit Anwendungslogs. Jeder Datensatz enthält 12 Felder, darunter Zeitstempel, Log-Level, Meldungstexte und verschachtelte Metadatenobjekte. Die Tests wurden auf einem AMD Ryzen 7 mit 32 GB RAM und NVMe-Speicher durchgeführt.
| Algorithmus und Stufe | Größe nach Komprimierung | Kompressionsrate | Komprimierungszeit | Dekomprimierungszeit |
|---|---|---|---|---|
| gzip (Stufe 6) | 14,2 MB | 7,0x | 2,8 s | 0,9 s |
| gzip (Stufe 9) | 13,1 MB | 7,6x | 8,4 s | 0,9 s |
| zstd (Stufe 3) | 12,8 MB | 7,8x | 0,6 s | 0,3 s |
| zstd (Stufe 1) | 15,1 MB | 6,6x | 0,3 s | 0,3 s |
| Brotli (Stufe 6) | 11,5 MB | 8,7x | 3,2 s | 0,5 s |
| Brotli (Stufe 11) | 9,8 MB | 10,2x | 42,1 s | 0,4 s |
Die Benchmarks sind repräsentativ für typische Logdaten im JSONL-Format. Die Ergebnisse hängen von der Kardinalität der Felder, der Entropie ihrer Werte und der Datensatzstruktur ab. Dateien mit häufig wiederkehrenden Schlüsseln und Werten mit geringer Entropie, etwa Log-Leveln oder Statuscodes, lassen sich besser komprimieren als Dateien mit jeweils unterschiedlichen Strings hoher Entropie.
Codebeispiele zum Komprimieren und Dekomprimieren
Die folgenden Praxisbeispiele zeigen, wie Sie JSONL-Dateien in Python, Node.js und auf der Kommandozeile komprimieren und dekomprimieren. Jedes Beispiel zeigt den Umgang mit allen drei Algorithmen.
Python unterstützt gzip bereits von Haus aus. Für zstd und Brotli installieren Sie die Pakete pyzstd und brotli. Das Vorgehen ist bei allen drei gleich: Sie öffnen eine komprimierte Datei und lesen oder schreiben die JSONL-Zeilen über das zugehörige Datei-Handle.
import gzip
import json
# === gzip (eingebaut) ===
# Komprimiertes JSONL schreiben
with gzip.open('data.jsonl.gz', 'wt', encoding='utf-8') as f:
for record in records:
f.write(json.dumps(record, ensure_ascii=False) + '\n')
# Komprimiertes JSONL lesen
with gzip.open('data.jsonl.gz', 'rt', encoding='utf-8') as f:
for line in f:
record = json.loads(line)
# === zstd (pip install pyzstd) ===
import pyzstd
# Komprimiertes JSONL schreiben
with pyzstd.open('data.jsonl.zst', 'wt', encoding='utf-8') as f:
for record in records:
f.write(json.dumps(record, ensure_ascii=False) + '\n')
# Komprimiertes JSONL lesen
with pyzstd.open('data.jsonl.zst', 'rt', encoding='utf-8') as f:
for line in f:
record = json.loads(line)
# === Brotli (pip install brotli) ===
import brotli
# Gesamte JSONL-Datei komprimieren
with open('data.jsonl', 'rb') as f:
raw = f.read()
compressed = brotli.compress(raw, quality=6)
with open('data.jsonl.br', 'wb') as f:
f.write(compressed)
# Dekomprimieren
with open('data.jsonl.br', 'rb') as f:
raw = brotli.decompress(f.read())
for line in raw.decode('utf-8').splitlines():
record = json.loads(line)Node.js unterstützt gzip und Brotli über das integrierte zlib-Modul. Für zstd verwenden Sie eines der npm-Pakete @aspect-build/zstd oder fzstd. Mit der Streaming-API lassen sich große JSONL-Dateien verarbeiten, ohne sie vollständig in den Arbeitsspeicher zu laden.
import { createReadStream, createWriteStream } from 'fs';
import { createGzip, createGunzip, createBrotliCompress,
createBrotliDecompress } from 'zlib';
import { createInterface } from 'readline';
import { pipeline } from 'stream/promises';
// === gzip komprimieren ===
await pipeline(
createReadStream('data.jsonl'),
createGzip({ level: 6 }),
createWriteStream('data.jsonl.gz')
);
// === gzip dekomprimieren & parsen ===
const gunzip = createGunzip();
const rl = createInterface({
input: createReadStream('data.jsonl.gz').pipe(gunzip),
});
for await (const line of rl) {
if (line.trim()) {
const record = JSON.parse(line);
// Datensatz verarbeiten
}
}
// === Brotli komprimieren ===
await pipeline(
createReadStream('data.jsonl'),
createBrotliCompress(),
createWriteStream('data.jsonl.br')
);
// === Brotli dekomprimieren & parsen ===
const br = createBrotliDecompress();
const rl2 = createInterface({
input: createReadStream('data.jsonl.br').pipe(br),
});
for await (const line of rl2) {
if (line.trim()) {
const record = JSON.parse(line);
}
}Am schnellsten komprimieren Sie JSONL-Dateien mit Kommandozeilentools. gzip ist auf allen Unix-Systemen vorinstalliert. Für die beiden anderen Algorithmen installieren Sie zstd und brotli über Ihren Paketmanager.
# === gzip ===
# Komprimieren (behält Original standardmäßig mit -k)
gzip -k data.jsonl # -> data.jsonl.gz
gzip -9 -k data.jsonl # max. Komprimierung
# Dekomprimieren
gzip -d data.jsonl.gz
# oder: gunzip data.jsonl.gz
# === zstd ===
# Installieren: brew install zstd / apt install zstd
zstd data.jsonl # -> data.jsonl.zst
zstd -3 data.jsonl # Stufe 3 (Standard)
zstd --fast data.jsonl # Schnellste Komprimierung
# Dekomprimieren
zstd -d data.jsonl.zst
# oder: unzstd data.jsonl.zst
# === Brotli ===
# Installieren: brew install brotli / apt install brotli
brotli data.jsonl # -> data.jsonl.br
brotli -q 6 data.jsonl # Qualität 6
brotli -q 11 data.jsonl # Max. Komprimierung
# Dekomprimieren
brotli -d data.jsonl.br
# === Piping mit jq ===
# Gefiltertes JSONL komprimieren
cat data.jsonl | jq -c 'select(.level == "error")' | gzip > errors.jsonl.gz
# Dekomprimieren und Zeilen zählen
zstd -dc data.jsonl.zst | wc -lKomprimierungsstrategien für Cloud-Speicher
Wenn Sie JSONL-Dateien in Cloud-Objektspeichern ablegen, senkt Komprimierung die Speicherkosten und verkürzt die Übertragungszeit. Die meisten Cloud-Anbieter unterstützen über ihre CDNs eine transparente Dekomprimierung von gzip und Brotli. Die Strategien für Upload und Speicherung unterscheiden sich jedoch.
Laden Sie komprimierte JSONL-Dateien mit dem passenden Content-Encoding-Header nach S3 hoch. S3 speichert die komprimierten Bytes; CloudFront kann sie bei der Auslieferung automatisch dekomprimieren. Bei Data-Lake-Workloads können Tools wie AWS Athena und Spark mit gzip oder zstd komprimierte JSONL-Dateien direkt lesen.
import boto3
import gzip
import json
s3 = boto3.client('s3')
# gzip-komprimiertes JSONL nach S3 hochladen
def upload_compressed_jsonl(records, bucket, key):
# Im Speicher komprimieren
compressed = gzip.compress(
'\n'.join(
json.dumps(r, ensure_ascii=False) for r in records
).encode('utf-8')
)
s3.put_object(
Bucket=bucket,
Key=f'{key}.jsonl.gz',
Body=compressed,
ContentType='application/x-ndjson',
ContentEncoding='gzip',
)
print(f'Uploaded {len(compressed)} bytes (compressed)')
# Herunterladen und dekomprimieren
def download_compressed_jsonl(bucket, key):
response = s3.get_object(Bucket=bucket, Key=key)
raw = gzip.decompress(response['Body'].read())
return [
json.loads(line)
for line in raw.decode('utf-8').splitlines()
if line.strip()
]Google Cloud Storage unterstützt gzip-Transkodierung. Wenn Sie ein gzip-komprimiertes Objekt mit dem Header Content-Encoding: gzip hochladen, kann GCS automatisch die dekomprimierte Fassung ausliefern, wenn Clients Accept-Encoding: gzip senden. Für BigQuery-Importe können Sie gzip-komprimiertes JSONL direkt verwenden.
from google.cloud import storage
import gzip
import json
client = storage.Client()
bucket = client.bucket('my-data-bucket')
# gzip-komprimiertes JSONL hochladen
def upload_compressed(records, blob_name):
blob = bucket.blob(f'{blob_name}.jsonl.gz')
blob.content_encoding = 'gzip'
blob.content_type = 'application/x-ndjson'
data = '\n'.join(
json.dumps(r, ensure_ascii=False) for r in records
).encode('utf-8')
blob.upload_from_string(
gzip.compress(data),
content_type='application/x-ndjson',
)
# BigQuery: komprimiertes JSONL direkt laden
# bq load --source_format=NEWLINE_DELIMITED_JSON \
# my_dataset.my_table gs://bucket/data.jsonl.gz schema.jsonBest Practices: Welcher Algorithmus passt wann?
Kein Kompressionsalgorithmus ist in jeder Situation die beste Wahl. Entscheidend ist, ob Sie möglichst kleine Dateien, eine schnelle Verarbeitung, hohe Kompatibilität oder einen ausgewogenen Kompromiss aus allen drei Eigenschaften benötigen. Für die gängigen JSONL-Anwendungsfälle gelten die folgenden Empfehlungen.
Archivierung und Cold Storage
Für maximale Komprimierung verwenden Sie Brotli (Qualität 9-11) oder zstd (Stufe 19+).
Bei der Archivierung spielt die Komprimierungsdauer eine geringere Rolle: Sie komprimieren einmal und dekomprimieren nur selten. Mit Qualitätsstufe 11 kann Brotli JSONL-Daten um den Faktor 10 oder mehr verkleinern und so die langfristigen Speicherkosten erheblich senken.
Echtzeit-Datenpipelines
Verwenden Sie zstd (Stufe 1-3) für den besten Kompromiss zwischen Geschwindigkeit und Kompressionsrate.
In Streaming-Pipelines (Kafka, Kinesis, Flink) beeinflusst die Geschwindigkeit beim Komprimieren und Dekomprimieren unmittelbar den Durchsatz und die Latenz. Auf Stufe 1 komprimiert zstd schneller als gzip und erreicht zugleich bessere Kompressionsraten. Der Wörterbuchmodus eignet sich ideal für JSONL mit festem Schema.
Auslieferung im Web und APIs
Verwenden Sie Brotli für statische Dateien und gzip als Fallback für maximale Kompatibilität.
Alle modernen Browser unterstützen Brotli über Accept-Encoding: br. CDNs wie Cloudflare und CloudFront können Inhalte automatisch mit Brotli komprimieren. Verwenden Sie gzip als Fallback für ältere Clients. Immer mehr Browser unterstützen zstd, flächendeckend verfügbar ist es aber noch nicht.
ETL und Batch-Verarbeitung
Verwenden Sie gzip für maximale Kompatibilität oder zstd für eine höhere Verarbeitungsgeschwindigkeit.
Die meisten Datenverarbeitungstools (Spark, Athena, BigQuery, pandas) unterstützen gzip nativ. Auch die Unterstützung für zstd nimmt rasch zu. Wenn Ihre Toolchain zstd unterstützt, sollten Sie es bevorzugen: Es komprimiert 3-5x schneller und erreicht dabei vergleichbare Kompressionsraten.
Testen Sie unsere kostenlosen JSONL-Tools
Komprimieren Sie Ihre JSONL-Dateien vor dem Hochladen oder validieren und konvertieren Sie sie mit unseren kostenlosen Online-Tools. Keine Installation erforderlich.
Strategien für JSONL-Daten im Gigabyte-Bereich: Lesen per Streaming, Speicherverwaltung, Aufteilen von Dateien, Komprimierung und Online-Tools.
Bewährte Vorgehensweisen für JSONL: Formatierung, einheitliche Schemas, Fehlerbehandlung, Performance-Optimierung und Dateiorganisation. Praktische Beispiele helfen Ihnen, typische Fallstricke zu vermeiden.
Teilen Sie große JSONL-Dateien nach Zeilenanzahl in kleinere, handliche Teile auf.
Führen Sie mehrere JSONL-Dateien mit Deduplizierung zu einer Datei zusammen.
JSONL und Parquet im direkten Vergleich: Erfahren Sie, wann sich welches Format für Datenpipelines, Analysen, ML-Training und Speicherung eignet. Mit Performance-Benchmarks und einem Leitfaden für hybride Architekturen.