JSONL-validator

Valideer direct je JSONL-bestanden (JSON Lines). Controleer elke regel op geldige JSON-syntaxis. Alles gebeurt 100% in je browser; je gegevens verlaten je browser nooit.

Controleren op

JSONL-invoer

Sleep een .jsonl-bestand hierheen of klik om een bestand te kiezen

Ondersteunt .jsonl, .ndjson, .json, .txt

Validatieresultaat

Plak of sleep JSONL-inhoud om te valideren

Foutenoverzicht: wat gaat er mis en hoe los je het op?

Bijna elk ongeldig JSONL-bestand loopt vast op een van deze zes problemen. Deze tabel laat zien welke fout je krijgt, wat de oorzaak op byteniveau is en hoe je die het snelst verhelpt. RFC 8259 stelt op al deze punten strikte eisen aan JSON. JSONL voegt daar de eis aan toe dat elk record op een eigen regel staat:

Voorbeeld van een ongeldige regelWat gaat er mis?Oplossing
{"a": 1,}Komma na het laatste element: toegestaan in JavaScript, niet in JSONVerwijder de komma vóór } of ]
{'a': 1}Enkele aanhalingstekens: JSON-strings moeten tussen dubbele aanhalingstekens staanVervang ' door " bij sleutels en tekenreekswaarden
{"note": "line oneEen regeleinde zonder escape in een string verdeelt het record over meerdere regelsGebruik \n voor het regeleinde, zodat het record op één regel blijft
{"a": 1}UTF-8 BOM vóór het eerste recordSla het bestand op zonder BOM of verwijder de eerste drie bytes
{"a": 1} {"b": 2}Twee records op één regel: de parser ziet onverwachte tekens na het eerste recordZet elk record op een eigen regel
(lege regel)Strikt genomen geen record; sommige parsers geven een fout, andere slaan de regel overVerwijder lege regels of stel de programma’s die de data verwerken zo in dat ze die overslaan

Zo valideer je JSONL-bestanden

Bij JSONL-validatie wordt gecontroleerd of elke regel van je bestand geldige JSON bevat. Elke regel moet een volledige JSON-waarde bevatten die de parser kan verwerken, meestal een JSON-object.

Onze validator leest je JSONL-bestand volledig in de browser. Er worden geen gegevens naar een server geüpload. Plak je JSONL-tekst of sleep een bestand hierheen en je ziet direct de validatieresultaten.

Regels met fouten worden gemarkeerd en voorzien van een regelnummer en een specifieke foutmelding. Je kunt het validatierapport kopiëren om het met je team te delen of de fouten te herstellen.

OpenAI-bestanden voor fine-tuning controleren

Een upload voor fine-tuning mislukt als een regel niet aan het chatformaat van OpenAI voldoet. Kies hierboven in de validator het OpenAI-formaat voor fine-tuning om alle regels met fouten op te sporen voordat je het bestand uploadt. Per regel controleert de validator het volgende:

  • een "messages"-array die aanwezig en niet leeg is
  • een rol voor elk bericht: system, user, assistant of tool
  • inhoud in de vorm van een string of een lijst met inhoudsdelen (bij een bericht met de rol assistant dat alleen een tool aanroept, mag de inhoud ontbreken)
  • minstens één bericht met de rol assistant, waarvan het model leert
  • een "weight" van 0 of 1, alleen bij berichten met de rol assistant
  • regels in het verouderde prompt/completion-formaat of het voorkeursformaat (DPO), waarvoor een andere configuratie nodig is

De validator telt ook voorbeelden en berichten, waarschuwt als een bestand minder dan de 10 door OpenAI vereiste voorbeelden bevat en geeft een ruwe schatting van het aantal tokens, zodat je de omvang van een training kunt inschatten. Meer over het formaat lees je in de handleiding voor het OpenAI JSONL-formaat.

Veelvoorkomende fouten en oplossingen

Komma na het laatste veld in een JSON-object

Een komma na het laatste sleutel-waardepaar in een JSON-object (bijvoorbeeld {"name":"Alice",}) is niet toegestaan in JSON. Verwijder op elke regel de komma na de laatste eigenschap om deze veelvoorkomende syntaxisfout te herstellen.

Sleutels zonder aanhalingstekens

In JSON moeten alle sleutels tussen dubbele aanhalingstekens staan. Een notatie als {name:"Alice"} komt niet door de validatie. Zorg dat alle sleutels dubbele aanhalingstekens hebben: {"name":"Alice"}.

Ongeldige escape-sequenties in strings

JSON ondersteunt alleen bepaalde escape-sequenties (\n, \t, \", \\, enz.). Ongeldige sequenties zoals \x of \' veroorzaken parsefouten. Gebruik geldige JSON-escape-sequenties of codeer speciale tekens als Unicode (\uXXXX).

Valideren in CI en via de commandline

Gebruik deze commando’s om vóór het uitvoeren van een pipeline te controleren of elke regel precies één JSON-waarde bevat. Ze lezen één regel tegelijk, dus het geheugengebruik hangt af van het grootste record en niet van het hele bestand. Lege regels worden afgewezen; een afsluitend newline-teken is optioneel.

# jq: parse each line and stop on the first error; empty needs no -e
jq -R 'try (
  if startswith("\uFEFF") then error("UTF-8 BOM is not allowed")
  else fromjson end | empty
) catch halt_error(1)' data.jsonl && echo OK


# Python: reject non-standard constants and report the first broken line
python3 - <<'PYTHON'
import json
import sys


def reject_constant(value):
    raise ValueError(f"Invalid JSON constant: {value}")


with open("data.jsonl", "r", encoding="utf-8") as source:
    for line_number, line in enumerate(source, 1):
        try:
            json.loads(line, parse_constant=reject_constant)
        except ValueError as error:
            sys.exit(f"Line {line_number}: {error}")
print("OK")
PYTHON

Deze controles valideren geen verplichte velden, veldtypen of regels voor OpenAI-trainingsdata; gebruik daarvoor schemavalidatie. jq accepteert enkele numerieke literals die niet aan de standaard voldoen, waaronder NaN en Infinity. Gebruik het Python-voorbeeld als die moeten worden afgewezen.

Wat is JSONL-validatie?

JSONL-validatie controleert of elke regel in een JSONL-bestand syntactisch correcte JSON bevat. Die controle is essentieel voordat je JSONL-bestanden gebruikt voor het trainen van machinelearningmodellen, batchbewerkingen via API’s of verwerking in datapipelines.

Veelvoorkomende problemen die validatie opspoort, zijn ontbrekende of extra komma’s, sleutels zonder aanhalingstekens, komma’s na het laatste element, haakjes die niet op elkaar aansluiten, ongeldige escape-sequenties en problemen met de tekencodering, zoals BOM-tekens.

Veelvoorkomende toepassingen

Datakwaliteit bewaken
Valideer JSONL-exports voordat je ze in databases of analyseplatforms importeert om datacorruptie te voorkomen.
ML-datasets valideren
Controleer vóór het uploaden of datasets voor fine-tuning bij OpenAI en trainingsdata voor Hugging Face de juiste indeling hebben.
Datapipelines debuggen
Spoor onjuist opgemaakte regels op in JSONL-logbestanden en in de uitvoer van datastreams.
Controleren vóór het uploaden
Valideer JSONL-bestanden voordat je ze uploadt naar API’s die strikte eisen aan de bestandsindeling stellen.
Valideren in CI/CD-pipelines
Voeg JSONL-validatie als stap toe aan je CI/CD-pipelines om onjuist opgemaakte databestanden op te sporen voordat ze in productie terechtkomen.
Schemaconsistentie controleren
Controleer of alle regels in een JSONL-bestand correct kunnen worden geparseerd en bekijk vervolgens of de records een consistente schemastructuur hebben.

Veelgestelde vragen

Wat wordt er gecontroleerd bij JSONL-validatie?

JSONL-validatie controleert of elke niet-lege regel in je bestand syntactisch geldige JSON bevat. Daarbij wordt gecontroleerd of haakjes op elkaar aansluiten, strings correct tussen aanhalingstekens staan, escape-sequenties geldig zijn en de JSON-structuur als geheel klopt.

Zijn mijn gegevens veilig tijdens het valideren?

Ja. Alle validatie gebeurt lokaal in je browser. Er worden geen gegevens naar een server gestuurd. Je JSONL-inhoud verlaat je apparaat nooit.

Kan ik grote JSONL-bestanden valideren?

Ja. De validator kan grote bestanden aan doordat elke regel afzonderlijk wordt verwerkt. Bij zeer grote bestanden (100MB+) kan de validatie enkele seconden duren.

Wat moet ik doen als de validatie mislukt?

Bekijk de foutdetails van elke ongeldige regel. Vaak kun je de fout herstellen door ontbrekende aanhalingstekens toe te voegen, komma’s na het laatste element te verwijderen of te zorgen dat haakjes op elkaar aansluiten. Je kunt ook onze JSONL Formatter gebruiken om opmaakproblemen op te sporen.

Controleert de validator of alle regels hetzelfde schema volgen?

De validator controleert alleen de JSON-syntaxis, niet of het schema consistent is. Elke regel wordt afzonderlijk op geldige JSON gecontroleerd. Voor schemavalidatie heb je naast de syntaxiscontrole een JSON Schema-validator nodig.

Kan ik NDJSON- of JSON Lines-bestanden met andere bestandsextensies valideren?

Ja. De validator accepteert bestanden met de extensies .jsonl, .ndjson, .json en .txt. De inhoud wordt ongeacht de extensie op dezelfde manier behandeld: elke niet-lege regel wordt als JSON gevalideerd.

Hoe worden lege regels en regels met alleen witruimte verwerkt bij de validatie?

Lege regels en regels met alleen witruimte worden tijdens de validatie automatisch overgeslagen. Ze tellen niet als fouten en komen niet in het validatierapport te staan. Dit is in overeenstemming met de JSONL-specificatie.

Kan deze tool ongeldige JSONL automatisch herstellen?

De validator spoort fouten op en rapporteert ze, maar herstelt ze niet automatisch. Automatisch herstel zou de bedoelde gegevens kunnen veranderen. Gebruik de foutdetails om elk probleem handmatig te herstellen en valideer daarna opnieuw om te controleren of alle regels geldig zijn.

Gerelateerde tools & gidsen