Von Jerry Fan

JSONL vs NDJSON: Was ist der Unterschied?

JSONL (JSON Lines) und NDJSON (Newline Delimited JSON) im ausführlichen Vergleich: zwei Namen für nahezu dasselbe Format, mit kleinen Unterschieden, die Sie kennen sollten.

JSONL und NDJSON im Überblick

MerkmalJSONL (JSON Lines)NDJSON
Vollständiger NameJSON LinesNewline Delimited JSON
Dateierweiterung.jsonl.ndjson
Spezifikationjsonlines.org (informell)github.com/ndjson/ndjson-spec (informelle Spezifikation)
HerkunftKonvention aus der Community, durch Data-Science-Tools bekannt gewordenVorgeschlagen von Chris Olah, Thorsten Ball und anderen
Zeilentrennzeichen\n (Zeilenumbruch)\n (Zeilenumbruch)
MIME-Typapplication/jsonl (inoffiziell)application/x-ndjson
Streaming-UnterstützungJa, zeilenweiseJa, zeilenweise
VerbreitungOpenAI, Hugging Face, ML/AI-ÖkosystemElasticsearch, Apache Spark, Data Engineering

Was ist JSONL (JSON Lines)?

JSONL steht für JSON Lines und ist ein textbasiertes Datenformat. Jede Zeile enthält genau einen gültigen JSON-Wert; die Zeilen sind durch Zeilenumbrüche (\n) getrennt. Bekannt wurde das Format durch die Machine-Learning- und Data-Science-Community. Eine informelle Spezifikation finden Sie auf jsonlines.org.

JSONL-Dateien haben die Dateierweiterung .jsonl. Das Format hat sich als Standard für KI- und ML-Trainingsdaten etabliert: OpenAI setzt für das Fine-Tuning .jsonl-Dateien voraus, und auch Datensätze von Hugging Face nutzen häufig das JSON-Lines-Format.

data.jsonl
{"id": 1, "text": "Hello world", "label": "greeting"}
{"id": 2, "text": "How are you?", "label": "question"}
{"id": 3, "text": "Goodbye", "label": "farewell"}

Was ist NDJSON (Newline Delimited JSON)?

NDJSON steht für Newline Delimited JSON. In diesem Datenformat enthält jede Zeile einen gültigen JSON-Wert; die Zeilen sind durch Zeilenumbrüche getrennt. Die Spezifikation liegt unter github.com/ndjson/ndjson-spec. Sie wurde ausgearbeitet, um einen klarer definierten Standard für zeilenbasierte JSON-Daten zu schaffen.

NDJSON-Dateien haben die Dateierweiterung .ndjson und den registrierten MIME-Typ application/x-ndjson. Das Format ist im Data Engineering, bei der Log-Verarbeitung und in Streaming-Anwendungen weit verbreitet. Elasticsearch, Apache Spark und viele HTTP-Streaming-APIs nutzen NDJSON.

data.ndjson
{"id": 1, "text": "Hello world", "label": "greeting"}
{"id": 2, "text": "How are you?", "label": "question"}
{"id": 3, "text": "Goodbye", "label": "farewell"}

Sind JSONL und NDJSON dasselbe Format?

In der Praxis ja: JSONL und NDJSON sind funktional identisch. Beide speichern einen JSON-Wert pro Zeile und trennen die Zeilen durch Zeilenumbrüche (\n). Eine .jsonl-Datei und eine .ndjson-Datei mit denselben Daten sind vollständig austauschbar. Jedes Tool, das eines der beiden Formate lesen kann, kann auch das andere lesen.

Die Unterschiede beschränken sich auf die Bezeichnung, die Verbreitung in verschiedenen Communities und die Konventionen für Metadaten. JSONL (JSON Lines) stammt aus der Data-Science- und Machine-Learning-Community. NDJSON (Newline Delimited JSON) wurde dagegen von der Data-Engineering- und Web-Streaming-Community formalisiert. Es ist ähnlich wie bei den englischen Begriffen „movie“ und „film“: Beide bezeichnen dasselbe, werden aber je nach Umfeld unterschiedlich häufig verwendet.

Die wichtigsten Unterschiede sind die Dateierweiterung (.jsonl bzw. .ndjson) und der MIME-Typ. Der MIME-Typ von NDJSON (application/x-ndjson) wird breiter unterstützt und kommt beim HTTP-Streaming zum Einsatz. JSONL-Dateien sind dagegen der Standard in KI/ML-Workflows. Orientieren Sie sich bei der Wahl an den Konventionen Ihres Ökosystems.

Die wichtigsten Unterschiede zwischen JSONL und NDJSON

1. Spezifikation und maßgebliche Quelle

JSONL

Auf jsonlines.org gibt es eine kurze, informelle Spezifikation. Die Regeln sind einfach: Jede Zeile enthält einen gültigen JSON-Wert, die Zeilen werden durch '\n' getrennt, und UTF-8 wird als Zeichenkodierung empfohlen.

NDJSON

Die Spezifikation unter github.com/ndjson/ndjson-spec ist etwas formeller. Sie schreibt ausdrücklich vor, dass jede Zeile einen gültigen JSON-Wert enthält und als Zeilentrennzeichen '\n' verwendet wird, nicht '\r\n'. Ein abschließender Zeilenumbruch wird empfohlen.

2. Dateierweiterung

JSONL

JSONL verwendet die Dateierweiterung .jsonl. Sie ist der Standard für Fine-Tuning-Dateien von OpenAI, Datensätze von Hugging Face und die meisten ML/KI-Tools. GitHub und VS Code erkennen .jsonl-Dateien und bieten Syntaxhervorhebung dafür.

NDJSON

NDJSON verwendet die Dateierweiterung .ndjson. Sie ist bei Data-Engineering-Tools, den Bulk-APIs von Elasticsearch und HTTP-Streaming-Antworten üblich. Viele Editoren bieten auch für .ndjson-Dateien Syntaxhervorhebung.

3. MIME-Typ

JSONL

Für JSONL gibt es keinen offiziell registrierten MIME-Typ. Gängige inoffizielle Typen sind application/jsonl und application/json-lines. In der Praxis verwenden viele Systeme application/jsonl oder greifen auf application/json zurück.

NDJSON

NDJSON verwendet den MIME-Typ application/x-ndjson. Dieser wird im HTTP-Umfeld breiter unterstützt. Elasticsearch, der Streaming-Standard der Fetch API und verschiedene Web-Frameworks verwenden ihn für Streaming-Antworten.

4. Verbreitung in Communities und Ökosystemen

JSONL

JSONL dominiert im KI/ML-Ökosystem. OpenAI, Anthropic, Google Gemini, Hugging Face und die meisten ML-Frameworks verwenden .jsonl. Auch in der Entwickler-Community insgesamt ist der Begriff 'JSONL' bekannter und wird häufiger gesucht.

NDJSON

NDJSON wird im Data Engineering und in Backend-Systemen bevorzugt. Elasticsearch, Apache Spark, PostgreSQL COPY und viele Tools zur Log-Aggregation nutzen NDJSON. Das npm-Paket ndjson wird jede Woche millionenfach heruntergeladen.

Wann eignet sich JSONL, wann NDJSON?

JSONLVerwenden Sie .jsonl, wenn Sie …
  • Trainingsdaten für das Fine-Tuning von LLMs bei OpenAI, Anthropic oder anderen Anbietern vorbereiten
  • mit Datensätzen von Hugging Face arbeiten
  • ML-Pipelines aufbauen und Daten vorverarbeiten
  • in Ihrem Team oder Ihrer Dokumentation die Bezeichnung 'JSON Lines' verwenden
  • Dateien auf KI/ML-Plattformen hochladen, die die Dateierweiterung .jsonl erwarten
  • in Python-Umgebungen für Data Science arbeiten
NDJSONVerwenden Sie .ndjson, wenn …
  • Sie JSON-Daten über HTTP streamen (Server-Sent Events, Fetch-Streaming)
  • Sie mit der Bulk-API von Elasticsearch arbeiten
  • Sie Datenpipelines mit Apache Spark oder ähnlichen Tools aufbauen
  • Sie Content-Type-Header setzen (application/x-ndjson)
  • Ihre Infrastruktur oder Ihr Team die NDJSON-Konvention verwendet
  • Sie mit Streaming-Bibliotheken für Node.js arbeiten

Code-Beispiele: JSONL und NDJSON lesen

Eine .jsonl-Datei lesen (Python)
# JSONL lesen - genau das gleiche wie NDJSON lesen
import json


with open('data.jsonl', 'r') as f:
    for line in f:
        record = json.loads(line.strip())
        print(record['text'])


# Ausgabe:
# Hello world
# How are you?
# Goodbye
Eine .ndjson-Datei lesen (JavaScript/Node.js)
// NDJSON lesen - genau das gleiche wie JSONL lesen
import { createReadStream } from 'fs';
import { createInterface } from 'readline';


const rl = createInterface({
  input: createReadStream('data.ndjson')
});


for await (const line of rl) {
  const record = JSON.parse(line);
  console.log(record.text);
}


// Ausgabe:
// Hello world
// How are you?
// Goodbye

JSONL- und NDJSON-Dateien sofort anzeigen

Öffnen Sie .jsonl- und .ndjson-Dateien bis zu 1 GB direkt im Browser. Ohne Upload, ohne Anmeldung – beide Formate werden problemlos unterstützt.

Häufig gestellte Fragen

Quellen