Validatore JSONL
Valida subito i tuoi file JSONL (JSON Lines) e verifica che ogni riga abbia una sintassi JSON corretta. Tutto avviene al 100% lato client: i tuoi dati non escono mai dal browser.
Input JSONL
Trascina qui un file .jsonl oppure fai clic per selezionarlo
Formati supportati: .jsonl, .ndjson, .json, .txt
Risultato della validazione
Incolla o trascina qui il contenuto JSONL da validare
Guida agli errori: cause e soluzioni
Quasi tutti i file JSONL non validi presentano uno di questi sei problemi. La tabella associa ogni errore alla sua causa effettiva a livello di byte e alla soluzione più rapida. La RFC 8259 impone regole precise per tutti questi aspetti; JSONL aggiunge il vincolo di un solo record per riga:
| Esempio di riga con errore | Problema | Soluzione |
|---|---|---|
| {"a": 1,} | Virgola finale: ammessa in JavaScript, non valida in JSON | Rimuovi la virgola prima di } o ] |
| {'a': 1} | Apici singoli: le stringhe JSON richiedono virgolette doppie | Sostituisci ' con " nelle chiavi e nei valori di tipo stringa |
| {"note": "line one | Un ritorno a capo senza escape dentro una stringa divide il record su più righe | Usa la sequenza di escape \n per mantenere il record su una sola riga |
| {"a": 1} | BOM UTF-8 prima del primo record | Salva il file senza BOM oppure rimuovi i primi tre byte |
| {"a": 1} {"b": 2} | Due record sulla stessa riga: il parser rileva caratteri aggiuntivi in coda | Scrivi ogni record su una riga separata |
| (riga vuota) | A rigore non è un record: alcuni parser segnalano un errore, altri la saltano | Elimina le righe vuote oppure configura gli strumenti che leggono i dati in modo che le saltino |
Come validare i file JSONL
La validazione JSONL verifica che ogni riga del file contenga JSON valido. Ogni riga deve contenere un valore JSON completo che il parser possa interpretare, in genere un oggetto JSON.
Il nostro validatore legge il tuo file JSONL interamente nel browser, senza caricare dati su alcun server. Basta incollare il testo JSONL o trascinare un file per vedere subito i risultati della validazione.
Le righe che contengono errori vengono evidenziate insieme al numero di riga e al messaggio di errore specifico. Puoi copiare il report di validazione per condividerlo con il team o usarlo per correggere i problemi.
Validare i file per il fine-tuning di OpenAI
Il caricamento di un file per il fine-tuning non riesce se anche una sola riga non rispetta il formato chat di OpenAI. Seleziona «Formato di fine-tuning di OpenAI» nel validatore qui sopra per individuare tutte le righe con problemi prima di caricare il file. Per ogni riga verifica:
- che l’array "messages" sia presente e non sia vuoto
- che ogni messaggio abbia un ruolo: system, user, assistant o tool
- che il contenuto sia una stringa o un elenco di parti di contenuto (può essere omesso nei messaggi con ruolo assistant che si limitano a chiamare uno strumento)
- che ci sia almeno un messaggio con ruolo assistant, da cui il modello apprende
- che "weight" sia 0 o 1 e sia usato solo nei messaggi con ruolo assistant
- se ci sono righe nel vecchio formato prompt/completion o nel formato di preferenza (DPO), che richiedono una configurazione diversa
Conta anche gli esempi e i messaggi, segnala quando un file contiene meno dei 10 esempi richiesti da OpenAI e fornisce una stima approssimativa dei token per aiutarti a valutare le dimensioni di un processo di addestramento. Per i dettagli sul formato, consulta la guida al formato JSONL di OpenAI.
Errori comuni e soluzioni
Virgole finali negli oggetti JSON
Una virgola dopo l'ultima coppia chiave-valore di un oggetto JSON (ad esempio, {"name":"Alice",}) rende il JSON non valido. Per correggere questo comune errore di sintassi, rimuovi la virgola dopo l'ultima proprietà di ogni riga.
Chiavi delle proprietà senza virgolette
In JSON, tutte le chiavi delle proprietà devono essere racchiuse tra virgolette doppie. Una chiave scritta come in {name:"Alice"} non supera la validazione. Assicurati che tutte le chiavi siano tra virgolette doppie: {"name":"Alice"}.
Sequenze di escape non valide nelle stringhe
JSON supporta solo determinate sequenze di escape (\n, \t, \", \\, ecc.). Sequenze non valide come \x o \' causano errori di parsing. Usa le sequenze di escape JSON corrette o codifica i caratteri speciali in Unicode (\uXXXX).
Validazione in CI e da riga di comando
Usa questi comandi per verificare che ogni riga contenga esattamente un valore JSON prima di eseguire una pipeline. Leggono una riga alla volta, quindi il consumo di memoria dipende dal record più grande, non dall’intero file. Le righe vuote vengono rifiutate; il carattere di fine riga finale è facoltativo.
# jq: parse each line and stop on the first error; empty needs no -e
jq -R 'try (
if startswith("\uFEFF") then error("UTF-8 BOM is not allowed")
else fromjson end | empty
) catch halt_error(1)' data.jsonl && echo OK
# Python: reject non-standard constants and report the first broken line
python3 - <<'PYTHON'
import json
import sys
def reject_constant(value):
raise ValueError(f"Invalid JSON constant: {value}")
with open("data.jsonl", "r", encoding="utf-8") as source:
for line_number, line in enumerate(source, 1):
try:
json.loads(line, parse_constant=reject_constant)
except ValueError as error:
sys.exit(f"Line {line_number}: {error}")
print("OK")
PYTHONQuesti controlli non verificano i campi obbligatori, i tipi dei campi o le regole per i dati di addestramento di OpenAI; per questi aspetti usa la validazione dello schema. jq accetta alcuni letterali numerici non standard, tra cui NaN e Infinity. Usa l’esempio Python quando è necessario rifiutarli.
Cos'è la validazione JSONL?
La validazione JSONL verifica che ogni riga di un file JSONL contenga JSON sintatticamente corretto. È un controllo fondamentale prima di usare questi file per addestrare modelli di machine learning, eseguire operazioni batch tramite API o elaborare dati nelle pipeline.
Tra i problemi più comuni rilevati dalla validazione ci sono virgole mancanti o di troppo, chiavi senza virgolette, virgole finali, parentesi non abbinate correttamente, sequenze di escape non valide e problemi di codifica, come la presenza di caratteri BOM.
Casi d'uso comuni
- Controllo della qualità dei dati
- Valida i dati esportati in JSONL prima di importarli in database o piattaforme di analisi, per evitare che vengano corrotti.
- Validazione dei dataset ML
- Verifica che i dataset per il fine-tuning di OpenAI e i dati di addestramento di Hugging Face abbiano il formato corretto prima di caricarli.
- Debug delle pipeline di dati
- Individua le righe malformate nei file di log JSONL e nei dati prodotti in streaming.
- Verifica prima del caricamento
- Valida i file JSONL prima di caricarli su API che richiedono il rigoroso rispetto del formato.
- Validazione nelle pipeline CI/CD
- Aggiungi un passaggio di validazione JSONL alle pipeline CI/CD per individuare i file di dati malformati prima che arrivino negli ambienti di produzione.
- Verifica della coerenza dello schema
- Verifica che il parser riesca a interpretare correttamente tutte le righe di un file JSONL e controlla visivamente che i record rispettino una struttura coerente con lo schema.
Domande frequenti
Cosa controlla la validazione JSONL?
La validazione JSONL verifica che ogni riga non vuota del file contenga JSON sintatticamente valido. Controlla che le parentesi siano abbinate correttamente, che le stringhe siano racchiuse tra virgolette, che le sequenze di escape siano valide e che la struttura JSON complessiva sia corretta.
I miei dati sono al sicuro durante la validazione?
Sì. La validazione avviene interamente in locale, nel tuo browser. Nessun dato viene inviato a un server e il contenuto JSONL non esce mai dal tuo dispositivo.
Posso validare file JSONL di grandi dimensioni?
Sì. Il validatore gestisce anche file di grandi dimensioni, perché elabora ogni riga separatamente. Per file molto grandi (100MB+), la validazione può richiedere qualche secondo.
Cosa devo fare se la validazione fallisce?
Controlla i dettagli degli errori per ogni riga non valida. Spesso basta aggiungere le virgolette mancanti, rimuovere le virgole finali o verificare che le parentesi siano abbinate correttamente. Puoi anche usare il nostro Formattatore JSONL per individuare i problemi di formattazione.
Il validatore controlla che lo schema sia coerente tra le righe?
Il validatore controlla solo la sintassi JSON, non la coerenza dello schema. Ogni riga viene validata separatamente per verificare che contenga JSON valido. Per validare anche lo schema, serve un validatore JSON Schema oltre al controllo della sintassi.
Posso validare file NDJSON o JSON Lines con estensioni diverse?
Sì. Il validatore accetta file con estensione .jsonl, .ndjson, .json e .txt. Il contenuto viene trattato allo stesso modo a prescindere dall'estensione: ogni riga non vuota viene validata come JSON.
Come vengono gestite le righe vuote o contenenti solo spazi durante la validazione?
Durante la validazione, le righe vuote e quelle che contengono solo spazi vengono saltate automaticamente. Non vengono conteggiate come errori e non compaiono nel report di validazione, come previsto dalla specifica JSONL.
Questo strumento può correggere automaticamente i file JSONL non validi?
Il validatore individua e segnala gli errori, ma non li corregge automaticamente: una correzione automatica potrebbe alterare il significato dei dati. Usa i dettagli degli errori per correggere manualmente ogni problema, poi ripeti la validazione per verificare che tutte le righe la superino.
Strumenti e guide correlati
Formatta i file JSONL con un’indentazione corretta per renderli più leggibili e facilitare il debug e la revisione dei dati.
Una guida completa alla preparazione dei file JSONL per OpenAI: formato dei dati per il fine-tuning, richieste alla Batch API, errori comuni e consigli per la validazione.
Scopri come validare file JSONL usando JSON Schema. Copre Python, Node.js, strumenti CLI e automazione CI/CD.
Impara a strutturare i file JSONL per la Batch API di OpenAI. Formato delle richieste, parsing delle risposte e workflow completo con esempi di codice.
Dividi file JSONL grandi in parti più piccole e gestibili per numero di righe.