- Startseite
- Anleitung
- JSONL vs Parquet: Das passende Datenformat wählen
JSONL vs Parquet: Das passende Datenformat wählen
JSONL (JSON Lines) und Apache Parquet im ausführlichen Vergleich: Erfahren Sie, welche Vor- und Nachteile die Formate bei Komprimierung, Abfragegeschwindigkeit, Schemavalidierung und der Unterstützung durch Tools und Bibliotheken haben – und welches Format zu Ihren Datenverarbeitungsaufgaben passt.
Was ist JSONL?
JSONL (JSON Lines) ist ein textbasiertes Datenformat. Jede Zeile enthält genau ein eigenständiges JSON-Objekt; die einzelnen Objekte sind durch Zeilenumbrüche getrennt. Das Format erweitert das weitverbreitete JSON-Format und wurde speziell für Streaming und protokollartige Daten entwickelt. Da jede Zeile ein eigenständiges JSON-Dokument ist, lassen sich neue Daten an eine Datei anhängen, ohne vorhandene Daten neu zu schreiben. Die Verarbeitung erfolgt zeilenweise und benötigt nur wenig zusätzlichen Arbeitsspeicher.
JSONL hat sich als Standardformat für den Austausch von ML-Trainingsdaten (OpenAI-Fine-Tuning, Hugging-Face-Datensätze), Anwendungslogs und Event-Streams etabliert. Es eignet sich überall dort, wo Daten nach und nach eintreffen. Da das Format direkt lesbar ist, lassen sich die Daten mit jedem Texteditor oder mit Kommandozeilentools wie grep, head und jq leicht prüfen.
{"id": 1, "name": "Alice", "role": "engineer", "salary": 95000}
{"id": 2, "name": "Bob", "role": "designer", "salary": 88000}
{"id": 3, "name": "Charlie", "role": "manager", "salary": 105000}Was ist Parquet?
Apache Parquet ist ein spaltenorientiertes Binärformat für effiziente analytische Abfragen auf großen Datenbeständen. Während JSONL Daten zeilenweise speichert, ordnet Parquet die Werte nach Spalten an. Soll ein einzelnes Feld über Millionen von Zeilen hinweg gelesen werden, muss deshalb nur die betreffende Spalte gelesen werden, statt jedes Mal den vollständigen Datensatz einzulesen. Diese Anordnung ermöglicht eine starke Komprimierung, da die Werte innerhalb einer Spalte meist ähnliche Typen und Verteilungen aufweisen.
Parquet entstand im Apache-Hadoop-Ökosystem und ist heute das De-facto-Speicherformat für Data Lakes auf AWS S3, Google Cloud Storage und Azure Blob Storage. Apache Spark, Apache Hive, Presto, DuckDB, Snowflake, BigQuery und praktisch jede moderne Analyse-Engine unterstützen das Format umfassend. Parquet-Dateien enthalten ein verbindliches Schema in ihren Metadaten. Dadurch kennen lesende Anwendungen die genauen Datentypen und die Struktur der Daten, ohne auf externe Dokumentation angewiesen zu sein.
import pyarrow.parquet as pq
import pandas as pd
# DataFrame als Parquet schreiben
df = pd.DataFrame({
'id': [1, 2, 3],
'name': ['Alice', 'Bob', 'Charlie'],
'role': ['engineer', 'designer', 'manager'],
'salary': [95000, 88000, 105000]
})
df.to_parquet('employees.parquet')
# Bestimmte Spalten lesen (spaltenorientierter Vorteil)
df = pq.read_table('employees.parquet', columns=['name', 'salary']).to_pandas()JSONL vs Parquet im direkten Vergleich
Die folgende Tabelle zeigt die wichtigsten Unterschiede zwischen JSONL und Parquet anhand der Kriterien, die bei der Wahl eines Datenformats für Ihr Projekt entscheidend sind.
| Eigenschaft | JSONL | Parquet |
|---|---|---|
| Datenanordnung | Zeilenorientiert, textbasiert. Jede Zeile ist ein vollständiges JSON-Objekt. | Spaltenorientiert, binär. Werte werden innerhalb von Row Groups spaltenweise gespeichert. |
| Kodierung | UTF-8-Klartext. Direkt lesbar und mit jedem Texteditor bearbeitbar. | Binärformat mit Dictionary-, RLE- und Bit-Packing-Kodierung. Nicht direkt lesbar. |
| Komprimierung | Externe Komprimierung ist optional möglich (gzip, zstd). Feldnamen wiederholen sich in jeder Zeile. | Integrierte spaltenweise Komprimierung (Snappy, Zstd, Gzip). 2-10x kleinere Dateien. |
| Abfragegeschwindigkeit | Jede Abfrage muss die gesamte Datei durchsuchen. Kein Column Pruning oder Predicate Pushdown. | Column Pruning und Predicate Pushdown überspringen nicht benötigte Daten. Analytische Abfragen sind dadurch um Größenordnungen schneller. |
| Schema | Kein festes Schema. Jede Zeile kann andere Felder und Datentypen enthalten. Flexibel, aber fehleranfällig. | Ein verbindliches, typisiertes Schema ist in den Dateimetadaten hinterlegt. Es wird beim Lesen und Schreiben geprüft. |
| Streaming / Anhängen | Sehr gut geeignet. Neue Daten lassen sich als weitere Zeile am Dateiende anhängen. Ideal für die Datenerfassung in Echtzeit. | Wenig geeignet. Um Daten hinzuzufügen, müssen Dateien neu geschrieben oder neue Dateipartitionen angelegt werden. |
| Direkt lesbar | Ja. Die Daten lassen sich mit cat, head, grep, jq oder einem beliebigen Texteditor prüfen. | Nein. Zum Prüfen sind spezielle Tools nötig (parquet-tools, PyArrow, DuckDB). |
| Ökosystem | Universell. Jede Programmiersprache mit einem JSON-Parser unterstützt das Format. | Auf Datenanalyse ausgerichtet. Umfassende Integration in Spark, Hive, Presto, DuckDB, Snowflake und BigQuery. |
Performance-Benchmarks
Bei großen Datenmengen fällt der Leistungsunterschied zwischen JSONL und Parquet besonders deutlich aus. Die folgenden repräsentativen Benchmarks verwenden einen Datenbestand mit 10 Millionen Zeilen und 20 Spalten, die Strings, Ganzzahlen, Gleitkommazahlen und Zeitstempel enthalten.
Dateigröße (Komprimierung)
Vollständiger Tabellenscan
Schreibgeschwindigkeit
Abfrage einer einzelnen Spalte
Die Benchmarks wurden mit Python (pandas + PyArrow) auf einem MacBook Pro mit M2 und 16 GB RAM gemessen. Die tatsächlichen Ergebnisse hängen von der Hardware, der Datenverteilung und dem verwendeten Komprimierungscodec ab.
Wann eignet sich JSONL, wann Parquet?
- Erfassung von Logs in Echtzeit und Event-Streaming
- ML-Trainingsdaten für OpenAI, Anthropic und Hugging Face
- Datenaustausch zwischen Microservices und APIs
- Semistrukturierte Daten, deren Schema sich von Datensatz zu Datensatz unterscheidet
- Schnelles Prototyping und Debugging, bei denen direkt lesbare Daten wichtig sind
- Append-only-Daten, bei denen laufend neue Datensätze eintreffen
- Kleine bis mittlere Datenbestände (unter 1 GB), für die keine analytischen Abfragen benötigt werden
- Speicherung in Data Lakes auf S3, GCS oder Azure Blob
- Analytische Abfragen mit Spark, Presto, DuckDB oder Snowflake
- Spaltenweise Aggregationen (SUM, AVG, COUNT) über Milliarden von Zeilen
- Anforderungen an die verbindliche Einhaltung eines Schemas und an Data Governance
- Langzeitarchivierung, bei der die Speicherkosten eine Rolle spielen (2-10x kleinere Dateien)
- Feature Stores und ML-Feature-Pipelines, die gezielt bestimmte Spalten lesen
- Datenbestände über 1 GB, bei denen die Abfragegeschwindigkeit entscheidend ist
Hybride Architektur: Daten mit JSONL erfassen und als Parquet speichern
Auf produktiven Datenplattformen lassen sich JSONL und Parquet gut kombinieren. Ein gängiges und bewährtes Muster ist, Daten mit JSONL zu erfassen und Parquet für die langfristige Speicherung und Analyse zu verwenden. Dieser hybride Ansatz verbindet die Stärken beider Formate: die einfache Datenerfassung in Echtzeit mit JSONL und die effizienten nachgelagerten Abfragen mit Parquet.
Die Pipeline besteht aus drei Schritten. Zunächst werden eingehende Ereignisse oder Datensätze unverarbeitet an JSONL-Dateien angehängt. Das geht mit JSONL schnell und ohne Sperren. Anschließend liest ein regelmäßig ausgeführter Batch-Job die gesammelten JSONL-Dateien ein, validiert und transformiert die Daten und konvertiert sie in das Parquet-Format. Der Job läuft stündlich, täglich oder wird durch die Dateigröße ausgelöst. Zum Schluss werden die erzeugten Parquet-Dateien in einem Data Lake gespeichert. Eine Partitionierung nach Datum, Region oder anderen Dimensionen ermöglicht effiziente Abfragen.
1. Als JSONL erfassen
Erfassen Sie unverarbeitete Ereignisse, Logs und API-Antworten in JSONL-Dateien. Neue Daten lassen sich schnell anhängen, ein Schema ist nicht erforderlich, und das Debugging ist in Echtzeit möglich.
2. Transformieren und validieren
Lesen Sie JSONL-Dateien regelmäßig in Batches ein, validieren Sie das Schema, bereinigen und normalisieren Sie die Daten und behandeln Sie fehlerhafte Datensätze.
3. Als Parquet speichern
Schreiben Sie die validierten Daten als partitionierte Parquet-Dateien in Ihren Data Lake. Fragen Sie sie mit Spark, DuckDB oder einer beliebigen Analyse-Engine ab.
import json
import pandas as pd
import pyarrow as pa
import pyarrow.parquet as pq
from pathlib import Path
from datetime import datetime
def jsonl_to_parquet(jsonl_dir: str, parquet_dir: str):
"""Angesammelte JSONL-Dateien in partitioniertes Parquet konvertieren."""
records = []
for jsonl_file in Path(jsonl_dir).glob('*.jsonl'):
with open(jsonl_file, 'r') as f:
for line in f:
line = line.strip()
if line:
records.append(json.loads(line))
if not records:
return
df = pd.DataFrame(records)
# Partitionsspalte hinzufügen
df['date'] = datetime.now().strftime('%Y-%m-%d')
table = pa.Table.from_pandas(df)
pq.write_to_dataset(
table,
root_path=parquet_dir,
partition_cols=['date'],
compression='zstd'
)
print(f'Converted {len(records)} records to Parquet')
jsonl_to_parquet('raw_events/', 'data_lake/')Testen Sie unsere kostenlosen JSONL-Tools
Sie arbeiten mit JSONL-Dateien? Mit unseren kostenlosen Tools können Sie JSONL-Daten direkt im Browser anzeigen, validieren und konvertieren. Eine Installation oder ein Upload ist nicht erforderlich.
Strategien für JSONL-Daten im Gigabyte-Bereich: Lesen per Streaming, Speicherverwaltung, Aufteilen von Dateien, Komprimierung und Online-Tools.
Vergleichen Sie gzip, zstd und Brotli zur Komprimierung von JSONL-Dateien. Mit Benchmarks, Codebeispielen in Python und Node.js, Strategien für die Speicherung in der Cloud und Best Practices.
Erfahren Sie, wie Sie JSONL als Austauschformat in ETL-Pipelines einsetzen. Behandelt Streaming mit Apache Kafka, Airflow-DAGs, das Laden von Daten in Snowflake und BigQuery sowie den Entwurf fehlertoleranter Pipelines.
Exportieren Sie JSONL-Daten als CSV-Tabellen. Ideal für Analysen in Excel oder Google Sheets.
Bewährte Vorgehensweisen für JSONL: Formatierung, einheitliche Schemas, Fehlerbehandlung, Performance-Optimierung und Dateiorganisation. Praktische Beispiele helfen Ihnen, typische Fallstricke zu vermeiden.