Von Jerry Fan

JSONL komprimieren: gzip, zstd und Brotli im Vergleich

Ein Praxisleitfaden zur Komprimierung von JSONL-Dateien: Vergleichen Sie Kompressionsraten und Geschwindigkeitsbenchmarks und erfahren Sie, wann sich gzip, zstd oder Brotli für Ihre Datenpipelines, Cloud-Speicherung und die Auslieferung im Web eignen.

Warum JSONL-Dateien komprimieren?

JSONL-Dateien wachsen schnell. Schon die Anwendungslogs eines einzigen Tages können mehrere Gigabyte zeilenweise gespeichertes JSON umfassen. Datensätze für Machine Learning erreichen regelmäßig mehrere Dutzend Gigabyte. Ohne Komprimierung steigen die Speicherkosten, Übertragungen dauern länger und I/O wird zum Engpass in Ihrer Datenpipeline. Bei großen Datenmengen gehört Komprimierung deshalb zu den Grundlagen eines effizienten Umgangs mit JSONL-Daten.

Die gute Nachricht: JSONL lässt sich besonders gut komprimieren. In JSON-Texten wiederholen sich Schlüssel, Trennzeichen und Strukturmuster. Kompressionsalgorithmen nutzen diese Redundanz und können die Dateigröße um den Faktor 5 bis 15 reduzieren. Entscheidend ist die Wahl des passenden Algorithmus für Ihren Anwendungsfall: gzip bietet universelle Kompatibilität, zstd den besten Kompromiss zwischen Geschwindigkeit und Kompressionsrate und Brotli die stärkste Komprimierung für statische Ressourcen. Dieser Leitfaden vergleicht alle drei anhand realer Benchmarks, lauffähiger Codebeispiele und klarer Empfehlungen.

Kompressionsalgorithmen im Überblick

Bei der Komprimierung von JSONL kommen vor allem drei Algorithmen zum Einsatz. Sie verfolgen unterschiedliche Ansätze und sind für unterschiedliche Szenarien optimiert. Wer ihre Stärken und Schwächen kennt, kann den passenden Algorithmus für die eigene Arbeitslast wählen.

gzip (DEFLATE)

Universell

Der universelle Standard: gzip gibt es seit 1992, und es wird überall unterstützt – von jeder Programmiersprache, jedem Betriebssystem, jedem Cloud-Anbieter und jedem Webbrowser. Es verwendet den DEFLATE-Algorithmus, der LZ77 mit Huffman-Kodierung kombiniert. gzip ist weder am schnellsten noch am effizientesten. Dank seiner weiten Verbreitung ist es aber eine verlässliche Standardwahl, wenn Kompatibilität im Vordergrund steht.

Zstandard (zstd)

Empfohlen

Das 2016 von Facebook entwickelte zstd ist ein moderner Allrounder für die Datenkomprimierung. Es komprimiert und dekomprimiert deutlich schneller als gzip und erreicht dabei ähnliche oder bessere Kompressionsraten. zstd unterstützt außerdem die Komprimierung mit einem Wörterbuch. Das ist besonders effektiv bei JSONL-Dateien, deren Zeilen alle dieselbe Schlüsselstruktur haben. Für Datenpipelines und die Echtzeitverarbeitung ist zstd die beste Wahl.

Brotli

Höchste Kompressionsrate

Das von Google entwickelte Brotli erreicht unter den drei Algorithmen die höchsten Kompressionsraten, insbesondere auf den höchsten Kompressionsstufen. Es kombiniert LZ77 und Huffman-Kodierung mit einem integrierten statischen Wörterbuch für häufige Webinhalte. Brotli eignet sich besonders gut, um JSONL für die Auslieferung über HTTP und die statische Speicherung zu komprimieren. Auf hohen Stufen dauert die Komprimierung allerdings deutlich länger als mit gzip oder zstd.

Direktvergleich

Die folgende Tabelle zeigt die wichtigsten Unterschiede zwischen gzip, zstd und Brotli anhand der für JSONL relevanten Kennzahlen. Die Angaben beschreiben das typische Verhalten mit Standardeinstellungen. Die tatsächliche Leistung hängt von den Daten und der gewählten Kompressionsstufe ab.

KennzahlgzipzstdBrotli
KompressionsrateGut (5-8x)Sehr gut (6-10x)Ausgezeichnet (7-12x)
Geschwindigkeit beim KomprimierenMittelSchnellLangsam bis mittel
Geschwindigkeit beim DekomprimierenMittelSehr schnellSchnell
CPU-AuslastungMittelGering bis mittelHoch (auf höchster Stufe)
Browser-UnterstützungAlle BrowserChrome 123+, Firefox 126+Alle modernen Browser
Streaming-UnterstützungJa (nativ)Ja (nativ)Eingeschränkt

Benchmark-Ergebnisse: eine JSONL-Datei mit 100 MB

Die folgenden Benchmarks liefern konkrete Zahlen zur Komprimierung einer 100 MB großen JSONL-Datei mit Anwendungslogs. Jeder Datensatz enthält 12 Felder, darunter Zeitstempel, Log-Level, Meldungstexte und verschachtelte Metadatenobjekte. Die Tests wurden auf einem AMD Ryzen 7 mit 32 GB RAM und NVMe-Speicher durchgeführt.

Algorithmus und StufeGröße nach KomprimierungKompressionsrateKomprimierungszeitDekomprimierungszeit
gzip (Stufe 6)14,2 MB7,0x2,8 s0,9 s
gzip (Stufe 9)13,1 MB7,6x8,4 s0,9 s
zstd (Stufe 3)12,8 MB7,8x0,6 s0,3 s
zstd (Stufe 1)15,1 MB6,6x0,3 s0,3 s
Brotli (Stufe 6)11,5 MB8,7x3,2 s0,5 s
Brotli (Stufe 11)9,8 MB10,2x42,1 s0,4 s

Die Benchmarks sind repräsentativ für typische Logdaten im JSONL-Format. Die Ergebnisse hängen von der Kardinalität der Felder, der Entropie ihrer Werte und der Datensatzstruktur ab. Dateien mit häufig wiederkehrenden Schlüsseln und Werten mit geringer Entropie, etwa Log-Leveln oder Statuscodes, lassen sich besser komprimieren als Dateien mit jeweils unterschiedlichen Strings hoher Entropie.

Codebeispiele zum Komprimieren und Dekomprimieren

Die folgenden Praxisbeispiele zeigen, wie Sie JSONL-Dateien in Python, Node.js und auf der Kommandozeile komprimieren und dekomprimieren. Jedes Beispiel zeigt den Umgang mit allen drei Algorithmen.

Python unterstützt gzip bereits von Haus aus. Für zstd und Brotli installieren Sie die Pakete pyzstd und brotli. Das Vorgehen ist bei allen drei gleich: Sie öffnen eine komprimierte Datei und lesen oder schreiben die JSONL-Zeilen über das zugehörige Datei-Handle.

Python: gzip, zstd & Brotli
import gzip
import json


# === gzip (eingebaut) ===
# Komprimiertes JSONL schreiben
with gzip.open('data.jsonl.gz', 'wt', encoding='utf-8') as f:
    for record in records:
        f.write(json.dumps(record, ensure_ascii=False) + '\n')


# Komprimiertes JSONL lesen
with gzip.open('data.jsonl.gz', 'rt', encoding='utf-8') as f:
    for line in f:
        record = json.loads(line)


# === zstd (pip install pyzstd) ===
import pyzstd


# Komprimiertes JSONL schreiben
with pyzstd.open('data.jsonl.zst', 'wt', encoding='utf-8') as f:
    for record in records:
        f.write(json.dumps(record, ensure_ascii=False) + '\n')


# Komprimiertes JSONL lesen
with pyzstd.open('data.jsonl.zst', 'rt', encoding='utf-8') as f:
    for line in f:
        record = json.loads(line)


# === Brotli (pip install brotli) ===
import brotli


# Gesamte JSONL-Datei komprimieren
with open('data.jsonl', 'rb') as f:
    raw = f.read()
compressed = brotli.compress(raw, quality=6)
with open('data.jsonl.br', 'wb') as f:
    f.write(compressed)


# Dekomprimieren
with open('data.jsonl.br', 'rb') as f:
    raw = brotli.decompress(f.read())
for line in raw.decode('utf-8').splitlines():
    record = json.loads(line)

Node.js unterstützt gzip und Brotli über das integrierte zlib-Modul. Für zstd verwenden Sie eines der npm-Pakete @aspect-build/zstd oder fzstd. Mit der Streaming-API lassen sich große JSONL-Dateien verarbeiten, ohne sie vollständig in den Arbeitsspeicher zu laden.

Node.js: zlib gzip & Brotli
import { createReadStream, createWriteStream } from 'fs';
import { createGzip, createGunzip, createBrotliCompress,
         createBrotliDecompress } from 'zlib';
import { createInterface } from 'readline';
import { pipeline } from 'stream/promises';


// === gzip komprimieren ===
await pipeline(
  createReadStream('data.jsonl'),
  createGzip({ level: 6 }),
  createWriteStream('data.jsonl.gz')
);


// === gzip dekomprimieren & parsen ===
const gunzip = createGunzip();
const rl = createInterface({
  input: createReadStream('data.jsonl.gz').pipe(gunzip),
});
for await (const line of rl) {
  if (line.trim()) {
    const record = JSON.parse(line);
    // Datensatz verarbeiten
  }
}


// === Brotli komprimieren ===
await pipeline(
  createReadStream('data.jsonl'),
  createBrotliCompress(),
  createWriteStream('data.jsonl.br')
);


// === Brotli dekomprimieren & parsen ===
const br = createBrotliDecompress();
const rl2 = createInterface({
  input: createReadStream('data.jsonl.br').pipe(br),
});
for await (const line of rl2) {
  if (line.trim()) {
    const record = JSON.parse(line);
  }
}

Am schnellsten komprimieren Sie JSONL-Dateien mit Kommandozeilentools. gzip ist auf allen Unix-Systemen vorinstalliert. Für die beiden anderen Algorithmen installieren Sie zstd und brotli über Ihren Paketmanager.

Kommandozeile: gzip, zstd & Brotli
# === gzip ===
# Komprimieren (behält Original standardmäßig mit -k)
gzip -k data.jsonl                # -> data.jsonl.gz
gzip -9 -k data.jsonl              # max. Komprimierung


# Dekomprimieren
gzip -d data.jsonl.gz
# oder: gunzip data.jsonl.gz


# === zstd ===
# Installieren: brew install zstd / apt install zstd
zstd data.jsonl                    # -> data.jsonl.zst
zstd -3 data.jsonl                 # Stufe 3 (Standard)
zstd --fast data.jsonl             # Schnellste Komprimierung


# Dekomprimieren
zstd -d data.jsonl.zst
# oder: unzstd data.jsonl.zst


# === Brotli ===
# Installieren: brew install brotli / apt install brotli
brotli data.jsonl                  # -> data.jsonl.br
brotli -q 6 data.jsonl             # Qualität 6
brotli -q 11 data.jsonl            # Max. Komprimierung


# Dekomprimieren
brotli -d data.jsonl.br


# === Piping mit jq ===
# Gefiltertes JSONL komprimieren
cat data.jsonl | jq -c 'select(.level == "error")' | gzip > errors.jsonl.gz


# Dekomprimieren und Zeilen zählen
zstd -dc data.jsonl.zst | wc -l

Komprimierungsstrategien für Cloud-Speicher

Wenn Sie JSONL-Dateien in Cloud-Objektspeichern ablegen, senkt Komprimierung die Speicherkosten und verkürzt die Übertragungszeit. Die meisten Cloud-Anbieter unterstützen über ihre CDNs eine transparente Dekomprimierung von gzip und Brotli. Die Strategien für Upload und Speicherung unterscheiden sich jedoch.

Laden Sie komprimierte JSONL-Dateien mit dem passenden Content-Encoding-Header nach S3 hoch. S3 speichert die komprimierten Bytes; CloudFront kann sie bei der Auslieferung automatisch dekomprimieren. Bei Data-Lake-Workloads können Tools wie AWS Athena und Spark mit gzip oder zstd komprimierte JSONL-Dateien direkt lesen.

Komprimierte Dateien in AWS S3
import boto3
import gzip
import json


s3 = boto3.client('s3')


# gzip-komprimiertes JSONL nach S3 hochladen
def upload_compressed_jsonl(records, bucket, key):
    # Im Speicher komprimieren
    compressed = gzip.compress(
        '\n'.join(
            json.dumps(r, ensure_ascii=False) for r in records
        ).encode('utf-8')
    )


    s3.put_object(
        Bucket=bucket,
        Key=f'{key}.jsonl.gz',
        Body=compressed,
        ContentType='application/x-ndjson',
        ContentEncoding='gzip',
    )
    print(f'Uploaded {len(compressed)} bytes (compressed)')


# Herunterladen und dekomprimieren
def download_compressed_jsonl(bucket, key):
    response = s3.get_object(Bucket=bucket, Key=key)
    raw = gzip.decompress(response['Body'].read())
    return [
        json.loads(line)
        for line in raw.decode('utf-8').splitlines()
        if line.strip()
    ]

Google Cloud Storage unterstützt gzip-Transkodierung. Wenn Sie ein gzip-komprimiertes Objekt mit dem Header Content-Encoding: gzip hochladen, kann GCS automatisch die dekomprimierte Fassung ausliefern, wenn Clients Accept-Encoding: gzip senden. Für BigQuery-Importe können Sie gzip-komprimiertes JSONL direkt verwenden.

Komprimierte Dateien in Google Cloud Storage
from google.cloud import storage
import gzip
import json


client = storage.Client()
bucket = client.bucket('my-data-bucket')


# gzip-komprimiertes JSONL hochladen
def upload_compressed(records, blob_name):
    blob = bucket.blob(f'{blob_name}.jsonl.gz')
    blob.content_encoding = 'gzip'
    blob.content_type = 'application/x-ndjson'


    data = '\n'.join(
        json.dumps(r, ensure_ascii=False) for r in records
    ).encode('utf-8')


    blob.upload_from_string(
        gzip.compress(data),
        content_type='application/x-ndjson',
    )


# BigQuery: komprimiertes JSONL direkt laden
# bq load --source_format=NEWLINE_DELIMITED_JSON \
#   my_dataset.my_table gs://bucket/data.jsonl.gz schema.json

Best Practices: Welcher Algorithmus passt wann?

Kein Kompressionsalgorithmus ist in jeder Situation die beste Wahl. Entscheidend ist, ob Sie möglichst kleine Dateien, eine schnelle Verarbeitung, hohe Kompatibilität oder einen ausgewogenen Kompromiss aus allen drei Eigenschaften benötigen. Für die gängigen JSONL-Anwendungsfälle gelten die folgenden Empfehlungen.

Archivierung und Cold Storage

Für maximale Komprimierung verwenden Sie Brotli (Qualität 9-11) oder zstd (Stufe 19+).

Bei der Archivierung spielt die Komprimierungsdauer eine geringere Rolle: Sie komprimieren einmal und dekomprimieren nur selten. Mit Qualitätsstufe 11 kann Brotli JSONL-Daten um den Faktor 10 oder mehr verkleinern und so die langfristigen Speicherkosten erheblich senken.

Echtzeit-Datenpipelines

Verwenden Sie zstd (Stufe 1-3) für den besten Kompromiss zwischen Geschwindigkeit und Kompressionsrate.

In Streaming-Pipelines (Kafka, Kinesis, Flink) beeinflusst die Geschwindigkeit beim Komprimieren und Dekomprimieren unmittelbar den Durchsatz und die Latenz. Auf Stufe 1 komprimiert zstd schneller als gzip und erreicht zugleich bessere Kompressionsraten. Der Wörterbuchmodus eignet sich ideal für JSONL mit festem Schema.

Auslieferung im Web und APIs

Verwenden Sie Brotli für statische Dateien und gzip als Fallback für maximale Kompatibilität.

Alle modernen Browser unterstützen Brotli über Accept-Encoding: br. CDNs wie Cloudflare und CloudFront können Inhalte automatisch mit Brotli komprimieren. Verwenden Sie gzip als Fallback für ältere Clients. Immer mehr Browser unterstützen zstd, flächendeckend verfügbar ist es aber noch nicht.

ETL und Batch-Verarbeitung

Verwenden Sie gzip für maximale Kompatibilität oder zstd für eine höhere Verarbeitungsgeschwindigkeit.

Die meisten Datenverarbeitungstools (Spark, Athena, BigQuery, pandas) unterstützen gzip nativ. Auch die Unterstützung für zstd nimmt rasch zu. Wenn Ihre Toolchain zstd unterstützt, sollten Sie es bevorzugen: Es komprimiert 3-5x schneller und erreicht dabei vergleichbare Kompressionsraten.

JSONL-Dateien online bearbeiten

Zeigen Sie JSONL-Dateien bis zu 1 GB direkt in Ihrem Browser an, validieren und konvertieren Sie sie. Kein Upload erforderlich, Ihre Daten bleiben zu 100 % privat.

Häufig gestellte Fragen

Quellen