- Startseite
- Tools
- JSONL-Validator
JSONL-Validator
Validieren Sie Ihre JSONL-Dateien (JSON Lines) sofort und prüfen Sie jede Zeile auf korrekte JSON-Syntax. Die Verarbeitung erfolgt zu 100 % im Browser. Ihre Daten verlassen den Browser zu keinem Zeitpunkt.
JSONL-Eingabe
Ziehen Sie eine .jsonl-Datei hierher oder klicken Sie, um eine Datei auszuwählen
Unterstützt .jsonl, .ndjson, .json, .txt
Validierungsergebnis
JSONL-Inhalt einfügen oder ablegen zum Validieren
Fehlerübersicht: Ursachen und Lösungen
Bei fast jeder ungültigen JSONL-Datei liegt einer von sechs Fehlern vor. Die Tabelle zeigt zu jedem Fehler die konkrete Ursache auf Byte-Ebene und die schnellste Lösung. RFC 8259 macht für JSON in all diesen Punkten strenge Vorgaben. Bei JSONL kommt die Regel hinzu, dass jeder Datensatz in einer eigenen Zeile stehen muss:
| So sieht die fehlerhafte Zeile aus | Problem | Behebung |
|---|---|---|
| {"a": 1,} | Komma nach dem letzten Element – in JavaScript erlaubt, in JSON unzulässig | Entfernen Sie das Komma vor } oder ] |
| {'a': 1} | Einfache Anführungszeichen – JSON-Strings müssen in doppelten Anführungszeichen stehen | Ersetzen Sie ' in Schlüsseln und String-Werten durch " |
| {"note": "line one | Ein nicht maskierter Zeilenumbruch innerhalb eines Strings verteilt den Datensatz auf mehrere Zeilen | Maskieren Sie ihn als \n, damit der Datensatz in einer Zeile bleibt |
| {"a": 1} | Eine UTF-8-BOM steht direkt vor dem ersten Datensatz | Speichern Sie die Datei ohne BOM oder entfernen Sie die ersten drei Bytes |
| {"a": 1} {"b": 2} | Zwei Datensätze in einer Zeile – der Parser erkennt nach dem ersten Datensatz unerlaubte zusätzliche Daten | Schreiben Sie jeden Datensatz in eine eigene Zeile |
| (leere Zeile) | Streng genommen kein Datensatz; manche Parser melden einen Fehler, andere überspringen die Zeile | Entfernen Sie leere Zeilen oder konfigurieren Sie die verarbeitenden Programme so, dass sie leere Zeilen überspringen |
So validieren Sie JSONL-Dateien
Bei der JSONL-Validierung wird geprüft, ob jede Zeile Ihrer Datei gültiges JSON enthält. Jede Zeile muss einen vollständigen JSON-Wert enthalten, der sich parsen lässt – in der Regel ein JSON-Objekt.
Unser Validator liest Ihre JSONL-Datei vollständig im Browser ein. Dabei werden keine Daten auf einen Server hochgeladen. Fügen Sie Ihren JSONL-Text ein oder ziehen Sie eine Datei per Drag & Drop in das Eingabefeld. Die Ergebnisse werden sofort angezeigt.
Fehlerhafte Zeilen werden hervorgehoben und mit Zeilennummer und konkreter Fehlermeldung angezeigt. Sie können den Validierungsbericht kopieren, um ihn mit Ihrem Team zu teilen oder die Fehler damit zu beheben.
OpenAI-Fine-Tuning-Dateien prüfen
Ein Fine-Tuning-Upload schlägt fehl, sobald eine Zeile nicht dem Chatformat von OpenAI entspricht. Wählen Sie im Validator oben das OpenAI-Fine-Tuning-Format, um vor dem Hochladen alle fehlerhaften Zeilen zu finden. Für jede Zeile wird geprüft:
- ob ein "messages"-Array vorhanden und nicht leer ist
- ob jede Nachricht eine Rolle hat: system, user, assistant oder tool
- ob der Inhalt als String oder als Liste von Inhaltsteilen vorliegt (bei einer Nachricht mit der Rolle assistant, die nur ein Tool aufruft, darf er fehlen)
- ob mindestens eine Nachricht mit der Rolle assistant vorhanden ist, aus der das Modell lernen kann
- ob "weight" den Wert 0 oder 1 hat und nur bei Nachrichten mit der Rolle assistant verwendet wird
- ob Zeilen das veraltete prompt/completion-Format oder das Präferenzformat (DPO) verwenden, die eine andere Konfiguration erfordern
Der Validator zählt außerdem Beispiele und Nachrichten, warnt bei Dateien mit weniger als den von OpenAI geforderten 10 Beispielen und liefert eine grobe Token-Schätzung, damit Sie den Umfang eines Trainingslaufs einschätzen können. Weitere Informationen zum Format finden Sie im Leitfaden zum OpenAI-JSONL-Format.
Häufige Fehler und ihre Lösungen
Kommas nach dem letzten Schlüssel-Wert-Paar
Ein Komma nach dem letzten Schlüssel-Wert-Paar eines JSON-Objekts (z. B. {"name":"Alice",}) ist in JSON nicht zulässig. Entfernen Sie in jeder Zeile das Komma nach der letzten Eigenschaft, um diesen häufigen Syntaxfehler zu beheben.
Schlüssel ohne Anführungszeichen
In JSON müssen alle Eigenschaftsschlüssel in doppelten Anführungszeichen stehen. Angaben wie {name:"Alice"} führen zu einem Validierungsfehler. Setzen Sie daher alle Schlüssel in doppelte Anführungszeichen: {"name":"Alice"}.
Ungültige Escape-Sequenzen in Strings
JSON unterstützt nur bestimmte Escape-Sequenzen (\n, \t, \", \\, usw.). Ungültige Sequenzen wie \x oder \' führen zu Parserfehlern. Verwenden Sie gültige JSON-Escape-Sequenzen oder kodieren Sie Sonderzeichen als Unicode (\uXXXX).
Validierung in CI und auf der Kommandozeile
Prüfen Sie mit diesen Befehlen vor dem Start einer Pipeline, ob jede Zeile genau einen JSON-Wert enthält. Sie lesen jeweils eine Zeile, sodass der Speicherbedarf vom größten Datensatz und nicht von der gesamten Datei abhängt. Leerzeilen werden abgelehnt; ein abschließender Zeilenumbruch ist optional.
# jq: parse each line and stop on the first error; empty needs no -e
jq -R 'try (
if startswith("\uFEFF") then error("UTF-8 BOM is not allowed")
else fromjson end | empty
) catch halt_error(1)' data.jsonl && echo OK
# Python: reject non-standard constants and report the first broken line
python3 - <<'PYTHON'
import json
import sys
def reject_constant(value):
raise ValueError(f"Invalid JSON constant: {value}")
with open("data.jsonl", "r", encoding="utf-8") as source:
for line_number, line in enumerate(source, 1):
try:
json.loads(line, parse_constant=reject_constant)
except ValueError as error:
sys.exit(f"Line {line_number}: {error}")
print("OK")
PYTHONDiese Prüfungen kontrollieren weder Pflichtfelder noch Feldtypen oder die Regeln für OpenAI-Trainingsdaten. Verwenden Sie dafür eine Schema-Validierung. jq akzeptiert einige nicht standardkonforme Zahlenliterale, darunter NaN und Infinity. Verwenden Sie das Python-Beispiel, wenn diese abgelehnt werden müssen.
Was ist eine JSONL-Validierung?
Bei der JSONL-Validierung wird geprüft, ob jede Zeile einer JSONL-Datei syntaktisch korrektes JSON enthält. Diese Prüfung ist entscheidend, bevor Sie JSONL-Dateien für das Training von Machine-Learning-Modellen, für API-Batch-Operationen oder zur Verarbeitung in Datenpipelines verwenden.
Die Validierung erkennt häufige Fehler wie fehlende oder überflüssige Kommas, Schlüssel ohne Anführungszeichen, Kommas nach dem letzten Element, nicht zusammenpassende Klammern, ungültige Escape-Sequenzen und Kodierungsprobleme wie BOM-Zeichen.
Häufige Anwendungsfälle
- Datenqualität sichern
- Validieren Sie JSONL-Exporte vor dem Import in Datenbanken oder Analyseplattformen, um eine Beschädigung der Daten zu verhindern.
- ML-Datensätze validieren
- Prüfen Sie Fine-Tuning-Datensätze für OpenAI und Trainingsdaten für Hugging Face vor dem Hochladen auf das korrekte Format.
- Datenpipelines debuggen
- Finden Sie fehlerhafte Zeilen in JSONL-Logdateien und in der Ausgabe von Datenstreams.
- Dateien vor dem Upload prüfen
- Validieren Sie JSONL-Dateien, bevor Sie sie an APIs mit strengen Formatvorgaben hochladen.
- Validierung in CI/CD-Pipelines
- Integrieren Sie die JSONL-Validierung als Schritt in Ihre CI/CD-Pipelines, um fehlerhafte Datendateien abzufangen, bevor sie in die Produktionsumgebung gelangen.
- Einheitliche Schemastruktur prüfen
- Prüfen Sie, ob sich alle Zeilen einer JSONL-Datei korrekt parsen lassen, und kontrollieren Sie per Sichtprüfung, ob die Datensätze einer einheitlichen Schemastruktur folgen.
Häufig gestellte Fragen
Was wird bei der JSONL-Validierung geprüft?
Bei der JSONL-Validierung wird geprüft, ob jede nicht leere Zeile Ihrer Datei syntaktisch gültiges JSON enthält. Dabei werden die Klammerung, die Anführungszeichen bei Strings, die Escape-Sequenzen und die JSON-Struktur insgesamt überprüft.
Sind meine Daten bei der Validierung sicher?
Ja. Die gesamte Validierung erfolgt lokal in Ihrem Browser. Es werden keine Daten an einen Server gesendet. Ihre JSONL-Inhalte verlassen Ihr Gerät zu keinem Zeitpunkt.
Kann ich auch große JSONL-Dateien validieren?
Ja. Der Validator kann auch große Dateien verarbeiten, da er jede Zeile einzeln prüft. Bei sehr großen Dateien (100 MB+) kann die Validierung einige Sekunden dauern.
Was soll ich tun, wenn die Validierung fehlschlägt?
Sehen Sie sich die Fehlerdetails zu jeder ungültigen Zeile an. Häufig lassen sich Fehler beheben, indem Sie fehlende Anführungszeichen ergänzen, Kommas nach dem letzten Element entfernen und auf zusammenpassende Klammern achten. Auch unser JSONL-Formatierer hilft Ihnen dabei, Formatierungsprobleme zu erkennen.
Prüft der Validator, ob alle Zeilen demselben Schema entsprechen?
Der Validator prüft ausschließlich die JSON-Syntax. Ob die Datensätze einem einheitlichen Schema folgen, wird nicht geprüft. Jede Zeile wird einzeln auf gültiges JSON geprüft. Für eine Schema-Validierung benötigen Sie zusätzlich zur Syntaxprüfung einen JSON-Schema-Validator.
Kann ich auch NDJSON- oder JSON-Lines-Dateien mit anderen Dateiendungen validieren?
Ja. Der Validator akzeptiert Dateien mit den Endungen .jsonl, .ndjson, .json und .txt. Unabhängig von der Dateiendung wird der Inhalt gleich behandelt: Jede nicht leere Zeile wird als JSON validiert.
Wie werden leere Zeilen und Zeilen behandelt, die nur Leerraum enthalten?
Leere Zeilen und Zeilen, die ausschließlich Whitespace enthalten, werden bei der Validierung automatisch übersprungen. Sie zählen nicht als Fehler und erscheinen nicht im Validierungsbericht. Dieses Verhalten entspricht der JSONL-Spezifikation.
Kann das Tool fehlerhaftes JSONL automatisch korrigieren?
Der Validator erkennt und meldet Fehler, behebt sie aber nicht automatisch. Eine automatische Korrektur könnte die Daten unbeabsichtigt verändern. Beheben Sie die einzelnen Fehler anhand der Fehlerdetails manuell und validieren Sie anschließend erneut, um sicherzustellen, dass alle Zeilen gültig sind.
Verwandte Tools & Anleitungen
Formatieren Sie JSONL-Dateien übersichtlich und mit korrekter Einrückung. Das erleichtert das Debuggen und die Prüfung der Daten.
Ein umfassender Leitfaden zur Vorbereitung von JSONL-Dateien für OpenAI. Mit dem Datenformat für das Fine-Tuning, Anfragen an die Batch API, häufigen Fehlern und Tipps zur Validierung.
Erfahren Sie, wie Sie JSONL-Dateien mit JSON Schema validieren. Mit jsonschema für Python, Ajv für Node.js, CLI-Tools, CI/CD-Automatisierung und Lösungen für häufige Validierungsfehler.
Erfahren Sie, wie Sie JSONL-Dateien für die Batch API von OpenAI strukturieren. Mit Anfrageformat, Parsen der Antworten und einem vollständigen Workflow mit Codebeispielen.
Teilen Sie große JSONL-Dateien nach Zeilenanzahl in kleinere, handliche Teile auf.