- Startseite
- Anleitung
- JSONL vs NDJSON: Was ist der Unterschied?
JSONL vs NDJSON: Was ist der Unterschied?
JSONL (JSON Lines) und NDJSON (Newline Delimited JSON) im ausführlichen Vergleich: zwei Namen für nahezu dasselbe Format, mit kleinen Unterschieden, die Sie kennen sollten.
JSONL und NDJSON im Überblick
| Merkmal | JSONL (JSON Lines) | NDJSON |
|---|---|---|
| Vollständiger Name | JSON Lines | Newline Delimited JSON |
| Dateierweiterung | .jsonl | .ndjson |
| Spezifikation | jsonlines.org (informell) | github.com/ndjson/ndjson-spec (informelle Spezifikation) |
| Herkunft | Konvention aus der Community, durch Data-Science-Tools bekannt geworden | Vorgeschlagen von Chris Olah, Thorsten Ball und anderen |
| Zeilentrennzeichen | \n (Zeilenumbruch) | \n (Zeilenumbruch) |
| MIME-Typ | application/jsonl (inoffiziell) | application/x-ndjson |
| Streaming-Unterstützung | Ja, zeilenweise | Ja, zeilenweise |
| Verbreitung | OpenAI, Hugging Face, ML/AI-Ökosystem | Elasticsearch, Apache Spark, Data Engineering |
Was ist JSONL (JSON Lines)?
JSONL steht für JSON Lines und ist ein textbasiertes Datenformat. Jede Zeile enthält genau einen gültigen JSON-Wert; die Zeilen sind durch Zeilenumbrüche (\n) getrennt. Bekannt wurde das Format durch die Machine-Learning- und Data-Science-Community. Eine informelle Spezifikation finden Sie auf jsonlines.org.
JSONL-Dateien haben die Dateierweiterung .jsonl. Das Format hat sich als Standard für KI- und ML-Trainingsdaten etabliert: OpenAI setzt für das Fine-Tuning .jsonl-Dateien voraus, und auch Datensätze von Hugging Face nutzen häufig das JSON-Lines-Format.
{"id": 1, "text": "Hello world", "label": "greeting"}
{"id": 2, "text": "How are you?", "label": "question"}
{"id": 3, "text": "Goodbye", "label": "farewell"}Was ist NDJSON (Newline Delimited JSON)?
NDJSON steht für Newline Delimited JSON. In diesem Datenformat enthält jede Zeile einen gültigen JSON-Wert; die Zeilen sind durch Zeilenumbrüche getrennt. Die Spezifikation liegt unter github.com/ndjson/ndjson-spec. Sie wurde ausgearbeitet, um einen klarer definierten Standard für zeilenbasierte JSON-Daten zu schaffen.
NDJSON-Dateien haben die Dateierweiterung .ndjson und den registrierten MIME-Typ application/x-ndjson. Das Format ist im Data Engineering, bei der Log-Verarbeitung und in Streaming-Anwendungen weit verbreitet. Elasticsearch, Apache Spark und viele HTTP-Streaming-APIs nutzen NDJSON.
{"id": 1, "text": "Hello world", "label": "greeting"}
{"id": 2, "text": "How are you?", "label": "question"}
{"id": 3, "text": "Goodbye", "label": "farewell"}Sind JSONL und NDJSON dasselbe Format?
In der Praxis ja: JSONL und NDJSON sind funktional identisch. Beide speichern einen JSON-Wert pro Zeile und trennen die Zeilen durch Zeilenumbrüche (\n). Eine .jsonl-Datei und eine .ndjson-Datei mit denselben Daten sind vollständig austauschbar. Jedes Tool, das eines der beiden Formate lesen kann, kann auch das andere lesen.
Die Unterschiede beschränken sich auf die Bezeichnung, die Verbreitung in verschiedenen Communities und die Konventionen für Metadaten. JSONL (JSON Lines) stammt aus der Data-Science- und Machine-Learning-Community. NDJSON (Newline Delimited JSON) wurde dagegen von der Data-Engineering- und Web-Streaming-Community formalisiert. Es ist ähnlich wie bei den englischen Begriffen „movie“ und „film“: Beide bezeichnen dasselbe, werden aber je nach Umfeld unterschiedlich häufig verwendet.
Die wichtigsten Unterschiede sind die Dateierweiterung (.jsonl bzw. .ndjson) und der MIME-Typ. Der MIME-Typ von NDJSON (application/x-ndjson) wird breiter unterstützt und kommt beim HTTP-Streaming zum Einsatz. JSONL-Dateien sind dagegen der Standard in KI/ML-Workflows. Orientieren Sie sich bei der Wahl an den Konventionen Ihres Ökosystems.
Die wichtigsten Unterschiede zwischen JSONL und NDJSON
1. Spezifikation und maßgebliche Quelle
Auf jsonlines.org gibt es eine kurze, informelle Spezifikation. Die Regeln sind einfach: Jede Zeile enthält einen gültigen JSON-Wert, die Zeilen werden durch '\n' getrennt, und UTF-8 wird als Zeichenkodierung empfohlen.
Die Spezifikation unter github.com/ndjson/ndjson-spec ist etwas formeller. Sie schreibt ausdrücklich vor, dass jede Zeile einen gültigen JSON-Wert enthält und als Zeilentrennzeichen '\n' verwendet wird, nicht '\r\n'. Ein abschließender Zeilenumbruch wird empfohlen.
2. Dateierweiterung
JSONL verwendet die Dateierweiterung .jsonl. Sie ist der Standard für Fine-Tuning-Dateien von OpenAI, Datensätze von Hugging Face und die meisten ML/KI-Tools. GitHub und VS Code erkennen .jsonl-Dateien und bieten Syntaxhervorhebung dafür.
NDJSON verwendet die Dateierweiterung .ndjson. Sie ist bei Data-Engineering-Tools, den Bulk-APIs von Elasticsearch und HTTP-Streaming-Antworten üblich. Viele Editoren bieten auch für .ndjson-Dateien Syntaxhervorhebung.
3. MIME-Typ
Für JSONL gibt es keinen offiziell registrierten MIME-Typ. Gängige inoffizielle Typen sind application/jsonl und application/json-lines. In der Praxis verwenden viele Systeme application/jsonl oder greifen auf application/json zurück.
NDJSON verwendet den MIME-Typ application/x-ndjson. Dieser wird im HTTP-Umfeld breiter unterstützt. Elasticsearch, der Streaming-Standard der Fetch API und verschiedene Web-Frameworks verwenden ihn für Streaming-Antworten.
4. Verbreitung in Communities und Ökosystemen
JSONL dominiert im KI/ML-Ökosystem. OpenAI, Anthropic, Google Gemini, Hugging Face und die meisten ML-Frameworks verwenden .jsonl. Auch in der Entwickler-Community insgesamt ist der Begriff 'JSONL' bekannter und wird häufiger gesucht.
NDJSON wird im Data Engineering und in Backend-Systemen bevorzugt. Elasticsearch, Apache Spark, PostgreSQL COPY und viele Tools zur Log-Aggregation nutzen NDJSON. Das npm-Paket ndjson wird jede Woche millionenfach heruntergeladen.
Wann eignet sich JSONL, wann NDJSON?
- Trainingsdaten für das Fine-Tuning von LLMs bei OpenAI, Anthropic oder anderen Anbietern vorbereiten
- mit Datensätzen von Hugging Face arbeiten
- ML-Pipelines aufbauen und Daten vorverarbeiten
- in Ihrem Team oder Ihrer Dokumentation die Bezeichnung 'JSON Lines' verwenden
- Dateien auf KI/ML-Plattformen hochladen, die die Dateierweiterung .jsonl erwarten
- in Python-Umgebungen für Data Science arbeiten
- Sie JSON-Daten über HTTP streamen (Server-Sent Events, Fetch-Streaming)
- Sie mit der Bulk-API von Elasticsearch arbeiten
- Sie Datenpipelines mit Apache Spark oder ähnlichen Tools aufbauen
- Sie Content-Type-Header setzen (application/x-ndjson)
- Ihre Infrastruktur oder Ihr Team die NDJSON-Konvention verwendet
- Sie mit Streaming-Bibliotheken für Node.js arbeiten
Code-Beispiele: JSONL und NDJSON lesen
# JSONL lesen - genau das gleiche wie NDJSON lesen
import json
with open('data.jsonl', 'r') as f:
for line in f:
record = json.loads(line.strip())
print(record['text'])
# Ausgabe:
# Hello world
# How are you?
# Goodbye// NDJSON lesen - genau das gleiche wie JSONL lesen
import { createReadStream } from 'fs';
import { createInterface } from 'readline';
const rl = createInterface({
input: createReadStream('data.ndjson')
});
for await (const line of rl) {
const record = JSON.parse(line);
console.log(record.text);
}
// Ausgabe:
// Hello world
// How are you?
// GoodbyeJSONL- und NDJSON-Dateien validieren
Prüfen Sie, ob Ihre .jsonl- oder .ndjson-Datei korrekt formatiert ist. Unser kostenloser Validator prüft jede Zeile auf gültige JSON-Syntax.
Alles über NDJSON: Spezifikation, MIME-Typ, Lesen und Schreiben in Python und Node.js, Streaming-HTTP-APIs, Tools aus dem Ökosystem und der Zusammenhang zwischen NDJSON und JSONL.
Validieren Sie JSONL-Dateien Zeile für Zeile und erkennen Sie Syntaxfehler, Probleme mit der Zeichenkodierung und Formatfehler sofort.
Erfahren Sie, was JSONL (JSON Lines) ist, wie es sich von herkömmlichem JSON unterscheidet und warum es das bevorzugte Format für Datenstreaming, Logdateien und Machine-Learning-Datensätze ist.
Erfahren Sie, wie Sie JSONL-Daten mit Node.js, Python, Server-Sent Events und WebSockets in Echtzeit streamen. Erstellen Sie Streaming-Pipelines für Logs, Metriken und Live-Datenfeeds.
Ein ausführlicher Vergleich von JSON und JSONL: Erfahren Sie, wann sich welches Format eignet, welche Vor- und Nachteile es hat und wie Sie zwischen den Formaten konvertieren.