JSONL-Validator

Validieren Sie Ihre JSONL-Dateien (JSON Lines) sofort und prüfen Sie jede Zeile auf korrekte JSON-Syntax. Die Verarbeitung erfolgt zu 100 % im Browser. Ihre Daten verlassen den Browser zu keinem Zeitpunkt.

Prüfen auf

JSONL-Eingabe

Ziehen Sie eine .jsonl-Datei hierher oder klicken Sie, um eine Datei auszuwählen

Unterstützt .jsonl, .ndjson, .json, .txt

Validierungsergebnis

JSONL-Inhalt einfügen oder ablegen zum Validieren

Fehlerübersicht: Ursachen und Lösungen

Bei fast jeder ungültigen JSONL-Datei liegt einer von sechs Fehlern vor. Die Tabelle zeigt zu jedem Fehler die konkrete Ursache auf Byte-Ebene und die schnellste Lösung. RFC 8259 macht für JSON in all diesen Punkten strenge Vorgaben. Bei JSONL kommt die Regel hinzu, dass jeder Datensatz in einer eigenen Zeile stehen muss:

So sieht die fehlerhafte Zeile ausProblemBehebung
{"a": 1,}Komma nach dem letzten Element – in JavaScript erlaubt, in JSON unzulässigEntfernen Sie das Komma vor } oder ]
{'a': 1}Einfache Anführungszeichen – JSON-Strings müssen in doppelten Anführungszeichen stehenErsetzen Sie ' in Schlüsseln und String-Werten durch "
{"note": "line oneEin nicht maskierter Zeilenumbruch innerhalb eines Strings verteilt den Datensatz auf mehrere ZeilenMaskieren Sie ihn als \n, damit der Datensatz in einer Zeile bleibt
{"a": 1}Eine UTF-8-BOM steht direkt vor dem ersten DatensatzSpeichern Sie die Datei ohne BOM oder entfernen Sie die ersten drei Bytes
{"a": 1} {"b": 2}Zwei Datensätze in einer Zeile – der Parser erkennt nach dem ersten Datensatz unerlaubte zusätzliche DatenSchreiben Sie jeden Datensatz in eine eigene Zeile
(leere Zeile)Streng genommen kein Datensatz; manche Parser melden einen Fehler, andere überspringen die ZeileEntfernen Sie leere Zeilen oder konfigurieren Sie die verarbeitenden Programme so, dass sie leere Zeilen überspringen

So validieren Sie JSONL-Dateien

Bei der JSONL-Validierung wird geprüft, ob jede Zeile Ihrer Datei gültiges JSON enthält. Jede Zeile muss einen vollständigen JSON-Wert enthalten, der sich parsen lässt – in der Regel ein JSON-Objekt.

Unser Validator liest Ihre JSONL-Datei vollständig im Browser ein. Dabei werden keine Daten auf einen Server hochgeladen. Fügen Sie Ihren JSONL-Text ein oder ziehen Sie eine Datei per Drag & Drop in das Eingabefeld. Die Ergebnisse werden sofort angezeigt.

Fehlerhafte Zeilen werden hervorgehoben und mit Zeilennummer und konkreter Fehlermeldung angezeigt. Sie können den Validierungsbericht kopieren, um ihn mit Ihrem Team zu teilen oder die Fehler damit zu beheben.

OpenAI-Fine-Tuning-Dateien prüfen

Ein Fine-Tuning-Upload schlägt fehl, sobald eine Zeile nicht dem Chatformat von OpenAI entspricht. Wählen Sie im Validator oben das OpenAI-Fine-Tuning-Format, um vor dem Hochladen alle fehlerhaften Zeilen zu finden. Für jede Zeile wird geprüft:

  • ob ein "messages"-Array vorhanden und nicht leer ist
  • ob jede Nachricht eine Rolle hat: system, user, assistant oder tool
  • ob der Inhalt als String oder als Liste von Inhaltsteilen vorliegt (bei einer Nachricht mit der Rolle assistant, die nur ein Tool aufruft, darf er fehlen)
  • ob mindestens eine Nachricht mit der Rolle assistant vorhanden ist, aus der das Modell lernen kann
  • ob "weight" den Wert 0 oder 1 hat und nur bei Nachrichten mit der Rolle assistant verwendet wird
  • ob Zeilen das veraltete prompt/completion-Format oder das Präferenzformat (DPO) verwenden, die eine andere Konfiguration erfordern

Der Validator zählt außerdem Beispiele und Nachrichten, warnt bei Dateien mit weniger als den von OpenAI geforderten 10 Beispielen und liefert eine grobe Token-Schätzung, damit Sie den Umfang eines Trainingslaufs einschätzen können. Weitere Informationen zum Format finden Sie im Leitfaden zum OpenAI-JSONL-Format.

Häufige Fehler und ihre Lösungen

Kommas nach dem letzten Schlüssel-Wert-Paar

Ein Komma nach dem letzten Schlüssel-Wert-Paar eines JSON-Objekts (z. B. {"name":"Alice",}) ist in JSON nicht zulässig. Entfernen Sie in jeder Zeile das Komma nach der letzten Eigenschaft, um diesen häufigen Syntaxfehler zu beheben.

Schlüssel ohne Anführungszeichen

In JSON müssen alle Eigenschaftsschlüssel in doppelten Anführungszeichen stehen. Angaben wie {name:"Alice"} führen zu einem Validierungsfehler. Setzen Sie daher alle Schlüssel in doppelte Anführungszeichen: {"name":"Alice"}.

Ungültige Escape-Sequenzen in Strings

JSON unterstützt nur bestimmte Escape-Sequenzen (\n, \t, \", \\, usw.). Ungültige Sequenzen wie \x oder \' führen zu Parserfehlern. Verwenden Sie gültige JSON-Escape-Sequenzen oder kodieren Sie Sonderzeichen als Unicode (\uXXXX).

Validierung in CI und auf der Kommandozeile

Prüfen Sie mit diesen Befehlen vor dem Start einer Pipeline, ob jede Zeile genau einen JSON-Wert enthält. Sie lesen jeweils eine Zeile, sodass der Speicherbedarf vom größten Datensatz und nicht von der gesamten Datei abhängt. Leerzeilen werden abgelehnt; ein abschließender Zeilenumbruch ist optional.

# jq: parse each line and stop on the first error; empty needs no -e
jq -R 'try (
  if startswith("\uFEFF") then error("UTF-8 BOM is not allowed")
  else fromjson end | empty
) catch halt_error(1)' data.jsonl && echo OK


# Python: reject non-standard constants and report the first broken line
python3 - <<'PYTHON'
import json
import sys


def reject_constant(value):
    raise ValueError(f"Invalid JSON constant: {value}")


with open("data.jsonl", "r", encoding="utf-8") as source:
    for line_number, line in enumerate(source, 1):
        try:
            json.loads(line, parse_constant=reject_constant)
        except ValueError as error:
            sys.exit(f"Line {line_number}: {error}")
print("OK")
PYTHON

Diese Prüfungen kontrollieren weder Pflichtfelder noch Feldtypen oder die Regeln für OpenAI-Trainingsdaten. Verwenden Sie dafür eine Schema-Validierung. jq akzeptiert einige nicht standardkonforme Zahlenliterale, darunter NaN und Infinity. Verwenden Sie das Python-Beispiel, wenn diese abgelehnt werden müssen.

Was ist eine JSONL-Validierung?

Bei der JSONL-Validierung wird geprüft, ob jede Zeile einer JSONL-Datei syntaktisch korrektes JSON enthält. Diese Prüfung ist entscheidend, bevor Sie JSONL-Dateien für das Training von Machine-Learning-Modellen, für API-Batch-Operationen oder zur Verarbeitung in Datenpipelines verwenden.

Die Validierung erkennt häufige Fehler wie fehlende oder überflüssige Kommas, Schlüssel ohne Anführungszeichen, Kommas nach dem letzten Element, nicht zusammenpassende Klammern, ungültige Escape-Sequenzen und Kodierungsprobleme wie BOM-Zeichen.

Häufige Anwendungsfälle

Datenqualität sichern
Validieren Sie JSONL-Exporte vor dem Import in Datenbanken oder Analyseplattformen, um eine Beschädigung der Daten zu verhindern.
ML-Datensätze validieren
Prüfen Sie Fine-Tuning-Datensätze für OpenAI und Trainingsdaten für Hugging Face vor dem Hochladen auf das korrekte Format.
Datenpipelines debuggen
Finden Sie fehlerhafte Zeilen in JSONL-Logdateien und in der Ausgabe von Datenstreams.
Dateien vor dem Upload prüfen
Validieren Sie JSONL-Dateien, bevor Sie sie an APIs mit strengen Formatvorgaben hochladen.
Validierung in CI/CD-Pipelines
Integrieren Sie die JSONL-Validierung als Schritt in Ihre CI/CD-Pipelines, um fehlerhafte Datendateien abzufangen, bevor sie in die Produktionsumgebung gelangen.
Einheitliche Schemastruktur prüfen
Prüfen Sie, ob sich alle Zeilen einer JSONL-Datei korrekt parsen lassen, und kontrollieren Sie per Sichtprüfung, ob die Datensätze einer einheitlichen Schemastruktur folgen.

Häufig gestellte Fragen

Was wird bei der JSONL-Validierung geprüft?

Bei der JSONL-Validierung wird geprüft, ob jede nicht leere Zeile Ihrer Datei syntaktisch gültiges JSON enthält. Dabei werden die Klammerung, die Anführungszeichen bei Strings, die Escape-Sequenzen und die JSON-Struktur insgesamt überprüft.

Sind meine Daten bei der Validierung sicher?

Ja. Die gesamte Validierung erfolgt lokal in Ihrem Browser. Es werden keine Daten an einen Server gesendet. Ihre JSONL-Inhalte verlassen Ihr Gerät zu keinem Zeitpunkt.

Kann ich auch große JSONL-Dateien validieren?

Ja. Der Validator kann auch große Dateien verarbeiten, da er jede Zeile einzeln prüft. Bei sehr großen Dateien (100 MB+) kann die Validierung einige Sekunden dauern.

Was soll ich tun, wenn die Validierung fehlschlägt?

Sehen Sie sich die Fehlerdetails zu jeder ungültigen Zeile an. Häufig lassen sich Fehler beheben, indem Sie fehlende Anführungszeichen ergänzen, Kommas nach dem letzten Element entfernen und auf zusammenpassende Klammern achten. Auch unser JSONL-Formatierer hilft Ihnen dabei, Formatierungsprobleme zu erkennen.

Prüft der Validator, ob alle Zeilen demselben Schema entsprechen?

Der Validator prüft ausschließlich die JSON-Syntax. Ob die Datensätze einem einheitlichen Schema folgen, wird nicht geprüft. Jede Zeile wird einzeln auf gültiges JSON geprüft. Für eine Schema-Validierung benötigen Sie zusätzlich zur Syntaxprüfung einen JSON-Schema-Validator.

Kann ich auch NDJSON- oder JSON-Lines-Dateien mit anderen Dateiendungen validieren?

Ja. Der Validator akzeptiert Dateien mit den Endungen .jsonl, .ndjson, .json und .txt. Unabhängig von der Dateiendung wird der Inhalt gleich behandelt: Jede nicht leere Zeile wird als JSON validiert.

Wie werden leere Zeilen und Zeilen behandelt, die nur Leerraum enthalten?

Leere Zeilen und Zeilen, die ausschließlich Whitespace enthalten, werden bei der Validierung automatisch übersprungen. Sie zählen nicht als Fehler und erscheinen nicht im Validierungsbericht. Dieses Verhalten entspricht der JSONL-Spezifikation.

Kann das Tool fehlerhaftes JSONL automatisch korrigieren?

Der Validator erkennt und meldet Fehler, behebt sie aber nicht automatisch. Eine automatische Korrektur könnte die Daten unbeabsichtigt verändern. Beheben Sie die einzelnen Fehler anhand der Fehlerdetails manuell und validieren Sie anschließend erneut, um sicherzustellen, dass alle Zeilen gültig sind.

Verwandte Tools & Anleitungen