Validatore JSONL

Valida subito i tuoi file JSONL (JSON Lines) e verifica che ogni riga abbia una sintassi JSON corretta. Tutto avviene al 100% lato client: i tuoi dati non escono mai dal browser.

Verifica rispetto a

Input JSONL

Trascina qui un file .jsonl oppure fai clic per selezionarlo

Formati supportati: .jsonl, .ndjson, .json, .txt

Risultato della validazione

Incolla o trascina qui il contenuto JSONL da validare

Guida agli errori: cause e soluzioni

Quasi tutti i file JSONL non validi presentano uno di questi sei problemi. La tabella associa ogni errore alla sua causa effettiva a livello di byte e alla soluzione più rapida. La RFC 8259 impone regole precise per tutti questi aspetti; JSONL aggiunge il vincolo di un solo record per riga:

Esempio di riga con erroreProblemaSoluzione
{"a": 1,}Virgola finale: ammessa in JavaScript, non valida in JSONRimuovi la virgola prima di } o ]
{'a': 1}Apici singoli: le stringhe JSON richiedono virgolette doppieSostituisci ' con " nelle chiavi e nei valori di tipo stringa
{"note": "line oneUn ritorno a capo senza escape dentro una stringa divide il record su più righeUsa la sequenza di escape \n per mantenere il record su una sola riga
{"a": 1}BOM UTF-8 prima del primo recordSalva il file senza BOM oppure rimuovi i primi tre byte
{"a": 1} {"b": 2}Due record sulla stessa riga: il parser rileva caratteri aggiuntivi in codaScrivi ogni record su una riga separata
(riga vuota)A rigore non è un record: alcuni parser segnalano un errore, altri la saltanoElimina le righe vuote oppure configura gli strumenti che leggono i dati in modo che le saltino

Come validare i file JSONL

La validazione JSONL verifica che ogni riga del file contenga JSON valido. Ogni riga deve contenere un valore JSON completo che il parser possa interpretare, in genere un oggetto JSON.

Il nostro validatore legge il tuo file JSONL interamente nel browser, senza caricare dati su alcun server. Basta incollare il testo JSONL o trascinare un file per vedere subito i risultati della validazione.

Le righe che contengono errori vengono evidenziate insieme al numero di riga e al messaggio di errore specifico. Puoi copiare il report di validazione per condividerlo con il team o usarlo per correggere i problemi.

Validare i file per il fine-tuning di OpenAI

Il caricamento di un file per il fine-tuning non riesce se anche una sola riga non rispetta il formato chat di OpenAI. Seleziona «Formato di fine-tuning di OpenAI» nel validatore qui sopra per individuare tutte le righe con problemi prima di caricare il file. Per ogni riga verifica:

  • che l’array "messages" sia presente e non sia vuoto
  • che ogni messaggio abbia un ruolo: system, user, assistant o tool
  • che il contenuto sia una stringa o un elenco di parti di contenuto (può essere omesso nei messaggi con ruolo assistant che si limitano a chiamare uno strumento)
  • che ci sia almeno un messaggio con ruolo assistant, da cui il modello apprende
  • che "weight" sia 0 o 1 e sia usato solo nei messaggi con ruolo assistant
  • se ci sono righe nel vecchio formato prompt/completion o nel formato di preferenza (DPO), che richiedono una configurazione diversa

Conta anche gli esempi e i messaggi, segnala quando un file contiene meno dei 10 esempi richiesti da OpenAI e fornisce una stima approssimativa dei token per aiutarti a valutare le dimensioni di un processo di addestramento. Per i dettagli sul formato, consulta la guida al formato JSONL di OpenAI.

Errori comuni e soluzioni

Virgole finali negli oggetti JSON

Una virgola dopo l'ultima coppia chiave-valore di un oggetto JSON (ad esempio, {"name":"Alice",}) rende il JSON non valido. Per correggere questo comune errore di sintassi, rimuovi la virgola dopo l'ultima proprietà di ogni riga.

Chiavi delle proprietà senza virgolette

In JSON, tutte le chiavi delle proprietà devono essere racchiuse tra virgolette doppie. Una chiave scritta come in {name:"Alice"} non supera la validazione. Assicurati che tutte le chiavi siano tra virgolette doppie: {"name":"Alice"}.

Sequenze di escape non valide nelle stringhe

JSON supporta solo determinate sequenze di escape (\n, \t, \", \\, ecc.). Sequenze non valide come \x o \' causano errori di parsing. Usa le sequenze di escape JSON corrette o codifica i caratteri speciali in Unicode (\uXXXX).

Validazione in CI e da riga di comando

Usa questi comandi per verificare che ogni riga contenga esattamente un valore JSON prima di eseguire una pipeline. Leggono una riga alla volta, quindi il consumo di memoria dipende dal record più grande, non dall’intero file. Le righe vuote vengono rifiutate; il carattere di fine riga finale è facoltativo.

# jq: parse each line and stop on the first error; empty needs no -e
jq -R 'try (
  if startswith("\uFEFF") then error("UTF-8 BOM is not allowed")
  else fromjson end | empty
) catch halt_error(1)' data.jsonl && echo OK


# Python: reject non-standard constants and report the first broken line
python3 - <<'PYTHON'
import json
import sys


def reject_constant(value):
    raise ValueError(f"Invalid JSON constant: {value}")


with open("data.jsonl", "r", encoding="utf-8") as source:
    for line_number, line in enumerate(source, 1):
        try:
            json.loads(line, parse_constant=reject_constant)
        except ValueError as error:
            sys.exit(f"Line {line_number}: {error}")
print("OK")
PYTHON

Questi controlli non verificano i campi obbligatori, i tipi dei campi o le regole per i dati di addestramento di OpenAI; per questi aspetti usa la validazione dello schema. jq accetta alcuni letterali numerici non standard, tra cui NaN e Infinity. Usa l’esempio Python quando è necessario rifiutarli.

Cos'è la validazione JSONL?

La validazione JSONL verifica che ogni riga di un file JSONL contenga JSON sintatticamente corretto. È un controllo fondamentale prima di usare questi file per addestrare modelli di machine learning, eseguire operazioni batch tramite API o elaborare dati nelle pipeline.

Tra i problemi più comuni rilevati dalla validazione ci sono virgole mancanti o di troppo, chiavi senza virgolette, virgole finali, parentesi non abbinate correttamente, sequenze di escape non valide e problemi di codifica, come la presenza di caratteri BOM.

Casi d'uso comuni

Controllo della qualità dei dati
Valida i dati esportati in JSONL prima di importarli in database o piattaforme di analisi, per evitare che vengano corrotti.
Validazione dei dataset ML
Verifica che i dataset per il fine-tuning di OpenAI e i dati di addestramento di Hugging Face abbiano il formato corretto prima di caricarli.
Debug delle pipeline di dati
Individua le righe malformate nei file di log JSONL e nei dati prodotti in streaming.
Verifica prima del caricamento
Valida i file JSONL prima di caricarli su API che richiedono il rigoroso rispetto del formato.
Validazione nelle pipeline CI/CD
Aggiungi un passaggio di validazione JSONL alle pipeline CI/CD per individuare i file di dati malformati prima che arrivino negli ambienti di produzione.
Verifica della coerenza dello schema
Verifica che il parser riesca a interpretare correttamente tutte le righe di un file JSONL e controlla visivamente che i record rispettino una struttura coerente con lo schema.

Domande frequenti

Cosa controlla la validazione JSONL?

La validazione JSONL verifica che ogni riga non vuota del file contenga JSON sintatticamente valido. Controlla che le parentesi siano abbinate correttamente, che le stringhe siano racchiuse tra virgolette, che le sequenze di escape siano valide e che la struttura JSON complessiva sia corretta.

I miei dati sono al sicuro durante la validazione?

Sì. La validazione avviene interamente in locale, nel tuo browser. Nessun dato viene inviato a un server e il contenuto JSONL non esce mai dal tuo dispositivo.

Posso validare file JSONL di grandi dimensioni?

Sì. Il validatore gestisce anche file di grandi dimensioni, perché elabora ogni riga separatamente. Per file molto grandi (100MB+), la validazione può richiedere qualche secondo.

Cosa devo fare se la validazione fallisce?

Controlla i dettagli degli errori per ogni riga non valida. Spesso basta aggiungere le virgolette mancanti, rimuovere le virgole finali o verificare che le parentesi siano abbinate correttamente. Puoi anche usare il nostro Formattatore JSONL per individuare i problemi di formattazione.

Il validatore controlla che lo schema sia coerente tra le righe?

Il validatore controlla solo la sintassi JSON, non la coerenza dello schema. Ogni riga viene validata separatamente per verificare che contenga JSON valido. Per validare anche lo schema, serve un validatore JSON Schema oltre al controllo della sintassi.

Posso validare file NDJSON o JSON Lines con estensioni diverse?

Sì. Il validatore accetta file con estensione .jsonl, .ndjson, .json e .txt. Il contenuto viene trattato allo stesso modo a prescindere dall'estensione: ogni riga non vuota viene validata come JSON.

Come vengono gestite le righe vuote o contenenti solo spazi durante la validazione?

Durante la validazione, le righe vuote e quelle che contengono solo spazi vengono saltate automaticamente. Non vengono conteggiate come errori e non compaiono nel report di validazione, come previsto dalla specifica JSONL.

Questo strumento può correggere automaticamente i file JSONL non validi?

Il validatore individua e segnala gli errori, ma non li corregge automaticamente: una correzione automatica potrebbe alterare il significato dei dati. Usa i dettagli degli errori per correggere manualmente ogni problema, poi ripeti la validazione per verificare che tutte le righe la superino.

Strumenti e guide correlati