- Startseite
- Anleitung
- JSONL-Tutorial: JSONL-Dateien erstellen, lesen und konvertieren
JSONL-Tutorial: JSONL-Dateien erstellen, lesen und konvertieren
Dieses Schritt-für-Schritt-Tutorial vermittelt Ihnen alles, was Sie für die Arbeit mit JSONL-Dateien (JSON Lines) brauchen – mit Codebeispielen in Python und JavaScript sowie Beispielen für CLI-Tools.
Was ist JSONL?
JSONL (JSON Lines) ist ein schlankes Textformat, in dem jede Zeile einen eigenständigen, gültigen JSON-Wert enthält. Während herkömmliches JSON alle Daten in einem einzigen Array oder Objekt zusammenfasst, speichert JSONL einen Datensatz pro Zeile. Als Trennzeichen dienen Zeilenumbrüche (\n).
Durch diese zeilenweise Struktur eignet sich JSONL besonders gut, um große Datenbestände zu streamen, Datensätze anzuhängen, ohne die Datei neu zu schreiben, und Daten parallel zu verarbeiten. JSONL wird häufig eingesetzt, etwa von OpenAI für Fine-Tuning-Datensätze, von Logging-Systemen wie dem ELK-Stack und von Big-Data-Tools wie BigQuery und Apache Spark.
{"id":1,"name":"Alice","role":"engineer"}
{"id":2,"name":"Bob","role":"designer"}
{"id":3,"name":"Charlie","role":"manager"}So erstellen Sie JSONL-Dateien
Eine JSONL-Datei lässt sich einfach erstellen: Serialisieren Sie jeden Datensatz als einzeiligen JSON-String und schreiben Sie ihn mit einem anschließenden Zeilenumbruch in die Datei. Hier finden Sie Beispiele in den gängigsten Programmiersprachen.
import json
records = [
{"id": 1, "name": "Alice", "role": "engineer"},
{"id": 2, "name": "Bob", "role": "designer"},
{"id": 3, "name": "Charlie", "role": "manager"},
]
with open("output.jsonl", "w", encoding="utf-8") as f:
for record in records:
f.write(json.dumps(record, ensure_ascii=False) + "\n")
print("Created output.jsonl with", len(records), "records")import { writeFileSync } from 'fs';
const records = [
{ id: 1, name: 'Alice', role: 'engineer' },
{ id: 2, name: 'Bob', role: 'designer' },
{ id: 3, name: 'Charlie', role: 'manager' },
];
const jsonl = records
.map(record => JSON.stringify(record))
.join('\n');
writeFileSync('output.jsonl', jsonl + '\n', 'utf-8');
console.log(`Created output.jsonl with ${records.length} records`);Manuell im Texteditor
Sie können JSONL-Dateien auch in jedem beliebigen Texteditor erstellen. Schreiben Sie dazu ein gültiges JSON-Objekt pro Zeile, setzen Sie keine Kommas zwischen die Zeilen und speichern Sie die Datei mit der Dateiendung .jsonl. Achten Sie darauf, dass jede Zeile vollständiges, gültiges JSON enthält.
So lesen Sie JSONL-Dateien
Da jede Zeile einen eigenständigen JSON-Wert enthält, können Sie JSONL-Dateien einfach Zeile für Zeile einlesen. Die folgenden Beispiele zeigen die gängigsten Verfahren.
import json
with open("data.jsonl", "r", encoding="utf-8") as f:
for line_number, line in enumerate(f, 1):
line = line.strip()
if not line:
continue # skip empty lines
record = json.loads(line)
print(f"Line {line_number}: {record['name']} - {record['role']}")import { createReadStream } from 'fs';
import { createInterface } from 'readline';
const rl = createInterface({
input: createReadStream('data.jsonl', 'utf-8'),
});
let lineNumber = 0;
for await (const line of rl) {
if (!line.trim()) continue; // skip empty lines
lineNumber++;
const record = JSON.parse(line);
console.log(`Line ${lineNumber}: ${record.name} - ${record.role}`);
}# Erste 10 Zeilen anzeigen
head -n 10 data.jsonl
# Gesamtzahl der Datensätze zählen
wc -l data.jsonl
# Jede Zeile mit jq schön drucken
cat data.jsonl | jq .
# Datensätze filtern, wo role "engineer" ist
cat data.jsonl | jq 'select(.role == "engineer")'
# Nur das Name-Feld extrahieren
cat data.jsonl | jq -r '.name'
# Nach Zeilen suchen, die ein Schlüsselwort enthalten
grep '"Alice"' data.jsonlSo konvertieren Sie JSON in JSONL
Um ein gewöhnliches JSON-Array in JSONL zu konvertieren, schreiben Sie jedes Element in eine eigene Zeile. Das gehört zu den häufigsten Aufgaben bei der Arbeit mit JSONL.
import json
# JSON-Array lesen
with open("data.json", "r", encoding="utf-8") as f:
data = json.load(f) # expects a JSON array
# Als JSONL schreiben
with open("data.jsonl", "w", encoding="utf-8") as f:
for record in data:
f.write(json.dumps(record, ensure_ascii=False) + "\n")
print(f"Converted {len(data)} records from JSON to JSONL")import { readFileSync, writeFileSync } from 'fs';
// JSON-Array lesen
const data = JSON.parse(readFileSync('data.json', 'utf-8'));
// Als JSONL schreiben
const jsonl = data
.map(record => JSON.stringify(record))
.join('\n');
writeFileSync('data.jsonl', jsonl + '\n', 'utf-8');
console.log(`Converted ${data.length} records from JSON to JSONL`);So konvertieren Sie CSV in JSONL
Beim Konvertieren von CSV in JSONL wird jede Datenzeile zu einem JSON-Objekt. Die Spaltenüberschriften der CSV-Datei dienen dabei als Feldnamen. Das ist hilfreich, wenn Sie tabellarische Daten in ein Format überführen möchten, das sich für Streaming oder Machine Learning eignet.
import csv
import json
with open("data.csv", "r", encoding="utf-8") as csv_file:
reader = csv.DictReader(csv_file)
with open("data.jsonl", "w", encoding="utf-8") as jsonl_file:
for row in reader:
jsonl_file.write(json.dumps(row, ensure_ascii=False) + "\n")
print("Converted CSV to JSONL successfully")import { readFileSync, writeFileSync } from 'fs';
const csv = readFileSync('data.csv', 'utf-8');
const lines = csv.trim().split('\n');
const headers = lines[0].split(',');
const jsonl = lines.slice(1).map(line => {
const values = line.split(',');
const obj = {};
headers.forEach((h, i) => obj[h.trim()] = values[i]?.trim());
return JSON.stringify(obj);
}).join('\n');
writeFileSync('data.jsonl', jsonl + '\n', 'utf-8');
console.log('Converted CSV to JSONL successfully');Best Practices für JSONL
Verwenden Sie für alle JSONL-Dateien die UTF-8-Kodierung. So bleiben die Dateien plattformübergreifend kompatibel und unterstützen auch internationale Zeichen.
Schreiben Sie genau ein JSON-Objekt pro Zeile. Verteilen Sie ein Objekt niemals auf mehrere Zeilen und schreiben Sie niemals mehrere Objekte in dieselbe Zeile.
Setzen Sie keine Kommas zwischen die Zeilen. Anders als bei JSON-Arrays dient bei JSONL ausschließlich der Zeilenumbruch als Trennzeichen.
Validieren Sie jede Zeile einzeln. Jede Zeile muss einen vollständigen, gültigen JSON-Wert enthalten. Mit einem JSONL-Validator erkennen Sie Syntaxfehler frühzeitig.
Lesen Sie große Dateien als Stream ein. Verarbeiten Sie die Datei zeilenweise mit readline (Node.js) oder durch Iteration über die Datei (Python), statt sie vollständig in den Arbeitsspeicher zu laden.
Achten Sie auf eine einheitliche Struktur der Datensätze. JSONL erlaubt zwar unterschiedliche Schemata pro Zeile, eine einheitliche Struktur erleichtert die Datenverarbeitung aber erheblich.
Vermeiden Sie überflüssige Leerzeichen am Zeilenende. Achten Sie darauf, dass die Zeilen keine zusätzlichen Leerzeichen oder Tabulatoren enthalten, die Probleme beim Parsen verursachen könnten.
Schließen Sie die Datei mit einem Zeilenumbruch ab. Ein Zeilenumbruch nach dem letzten Datensatz hilft Tools wie wc und cat, die Datei korrekt zu verarbeiten.
Häufige JSONL-Fehler
[
{"name":"Alice"},
{"name":"Bob"}
]{"name":"Alice"}
{"name":"Bob"}JSONL ist kein JSON-Array. Setzen Sie keine eckigen Klammern um die Zeilen und keine Kommas dazwischen. Jede Zeile steht für sich.
{"name":"Alice"},
{"name":"Bob"},{"name":"Alice"}
{"name":"Bob"}Kommas am Ende einer Zeile oder zwischen den Zeilen sind in JSONL nicht zulässig. Als Trennzeichen dient ausschließlich der Zeilenumbruch.
{
"name": "Alice",
"age": 30
}{"name":"Alice","age":30}Jedes JSON-Objekt muss vollständig in einer einzigen Zeile stehen. JSON mit Einrückungen und Zeilenumbrüchen zur besseren Lesbarkeit ist kein gültiges JSONL.
{"text":"She said "hello""}{"text":"She said \"hello\""}Anführungszeichen und Sonderzeichen innerhalb von JSON-Strings müssen korrekt mit Backslashes maskiert werden. Nicht maskierte Anführungszeichen führen zu Fehlern beim Parsen des JSON.
JSONL validieren
Validieren Sie Ihre JSONL-Datei nach dem Erstellen, um Syntaxfehler frühzeitig zu erkennen. Unser kostenloser Validator prüft jede Zeile sofort.
Validieren Sie JSONL-Dateien Zeile für Zeile und erkennen Sie Syntaxfehler, Probleme mit der Zeichenkodierung und Formatfehler sofort.
Formatieren Sie JSONL-Dateien übersichtlich und mit korrekter Einrückung. Das erleichtert das Debuggen und die Prüfung der Daten.
Konvertieren Sie JSON-Arrays ins JSONL-Format. Ideal, um Daten für Streaming und ML-Training vorzubereiten.
Exportieren Sie JSONL-Daten als CSV-Tabellen. Ideal für Analysen in Excel oder Google Sheets.
Ein umfassender Leitfaden für JSONL-Dateien in Python. Lernen Sie, JSONL mit json, pandas und orjson zu lesen, zu schreiben und zu parsen und große Dateien per Streaming zu verarbeiten.