Unisci file JSONL

Unisci più file JSONL (JSON Lines) in un unico file. Riordina le righe, rimuovi i duplicati e verifica la validità del JSON. Elaborazione al 100% lato client: i tuoi dati non lasciano mai il browser.

File di input

Trascina qui i file .jsonl oppure fai clic per selezionare più file

Formati supportati: .jsonl, .ndjson, .json, .txt

Opzioni di unione

Risultato dell'unione

Trascina o seleziona i file JSONL da unire

Perché cat file1.jsonl file2.jsonl può danneggiare i dati

Concatenare i file sembra il modo più ovvio per unire file JSONL, e funziona finché a uno dei file non manca il carattere di fine riga finale. In quel caso, l'ultimo record di un file e il primo del successivo finiscono sulla stessa riga, rendendola non valida:

# file1.jsonl termina SENZA un'interruzione di riga finale:
{"id": 1}
{"id": 2}⏎missing


# file2.jsonl:
{"id": 3}


# cat file1.jsonl file2.jsonl produce:
{"id": 1}
{"id": 2}{"id": 3}   ← one broken line: parse error, two records lost

Questo strumento controlla l'ultimo byte di ogni file di input e aggiunge il carattere di fine riga mancante prima di unirli: il risultato è sempre valido, indipendentemente da come sono stati salvati i file di input. Se devi usare cat in una pipeline, la forma più sicura è: awk 1 file1.jsonl file2.jsonl (awk aggiunge un terminatore a ogni riga).

Come unire file JSONL

Seleziona più file JSONL o trascinali nell'area di caricamento. Ogni file viene letto interamente nel browser: nessun dato viene inviato a un server. Sono supportati i formati .jsonl, .ndjson, .json e .txt.

Dopo aver caricato i file, puoi riordinarli con le frecce su e giù per scegliere l'ordine di unione. Attiva la deduplicazione per rimuovere le righe duplicate confrontandone l'intero contenuto, oppure attiva la validazione JSON per ignorare le righe che non contengono JSON valido.

Il pannello di anteprima mostra le prime 100 righe del risultato. Puoi scaricare il risultato completo come file .jsonl o copiarlo negli appunti. Le statistiche indicano il numero totale di righe, la dimensione del file e il numero di duplicati o righe non valide rimossi.

Come funziona l'unione, nel dettaglio

Ordine
I file vengono concatenati nell'ordine in cui li aggiungi, mantenendo l'ordine dei record all'interno di ciascun file. L'unione avviene solo per accodamento: i record non vengono mai riordinati, riscritti o riformattati.
Correzione dei separatori tra file
Se a un file di input manca il carattere di fine riga finale, viene aggiunto automaticamente (vedi l'esempio sopra). Le righe vuote tra i record vengono eliminate, perché alcuni strumenti che leggono questi file non le accettano.
Deduplicazione per righe identiche
Facoltativa. Due record vengono considerati duplicati solo se le righe originali sono identiche byte per byte: {"a":1,"b":2} e {"b":2,"a":1} NON vengono deduplicati, perché l’ordine delle chiavi rende diverse le righe, anche se i valori JSON sono uguali. Se ti serve una deduplicazione basata sui valori, normalizza prima i dati con l’opzione del formattatore che ordina le chiavi.
Round-trip con lo strumento di suddivisione
L'unione è l'esatto inverso della suddivisione: dividi un file in N parti e riuniscile nello stesso ordine per ottenere un risultato identico all'originale byte per byte (con la deduplicazione disattivata). Questa proprietà rende la sequenza suddivisione → elaborazione in parallelo → unione uno schema sicuro per le pipeline.

Che cosa significa unire file JSONL?

Unire file JSONL significa combinare più file JSONL (JSON Lines) in un unico file. Ogni file di input contiene un oggetto JSON per riga; lo strumento concatena tutte le righe di tutti i file in un unico file di output, rispettando l'ordine che hai scelto.

Questa operazione è essenziale quando lavori con dataset suddivisi in più file, come shard di dati di addestramento, esportazioni giornaliere di log o risposte API suddivise in blocchi. Riunirli in un unico file semplifica l'elaborazione, l'analisi o il caricamento su piattaforme che richiedono un solo file JSONL in input.

Errori comuni e soluzioni

Record duplicati tra i file

Quando unisci esportazioni JSONL con dati sovrapposti, ad esempio log giornalieri con timestamp sovrapposti, potresti ottenere dei duplicati. Attiva l'opzione 'Rimuovi duplicati' per eliminarli automaticamente confrontando il contenuto esatto delle righe. Per una deduplicazione semantica (stessi dati, formattazione diversa), usa prima il formattatore JSONL per applicare una formattazione uniforme a tutti i file.

Codifiche diverse tra i file

I file provenienti da fonti diverse possono usare codifiche dei caratteri differenti (UTF-8, UTF-8 con BOM, Windows-1252). Questo può causare errori di parsing del JSON nella prima riga di alcuni file. Prima di unirli, assicurati che tutti i file siano salvati in UTF-8 senza BOM.

Schemi non uniformi tra i file

I file JSONL provenienti da fonti diverse possono avere strutture delle chiavi differenti. Lo strumento unisce i file anche se gli schemi sono diversi, ma gli strumenti usati nelle fasi successive potrebbero richiedere schemi uniformi. Verifica il risultato con il validatore JSONL per assicurarti che ogni riga contenga JSON valido.

Casi d'uso comuni

Consolidamento dei dataset
Unisci più shard di dati di addestramento in formato JSONL in un unico file da caricare su OpenAI per il fine-tuning, su Hugging Face o su altre piattaforme ML.
Unione dei risultati di pipeline di dati
Unisci i file di output di pipeline di elaborazione dati eseguite in parallelo in un unico file JSONL da usare nelle fasi successive.
Preparazione dei dati di addestramento ML
Riunisci coppie prompt-completion provenienti da più fonti in un unico file JSONL pronto per il fine-tuning di un modello.
Aggregazione dei file di log
Unisci le esportazioni giornaliere o orarie dei log JSONL in un unico file per analizzare tutti i log ed eseguire ricerche al loro interno.
Collaborazione nel team
Unisci i file di dati JSONL forniti dai diversi membri del team in un unico dataset da analizzare insieme.
Unione dei dati per le analisi
Unisci i dati degli eventi in formato JSONL provenienti da più servizi o relativi a periodi diversi per analizzarli e produrre report in modo unitario.

Domande frequenti

I miei dati sono al sicuro durante l’unione dei file?

Sì. L'unione avviene interamente in locale, nel browser. Nessun dato contenuto nei file viene caricato su un server. I tuoi file JSONL non lasciano mai il dispositivo.

C’è un limite al numero di file che posso unire?

Non c'è un limite fisso al numero di file. Puoi aggiungere tutti i file JSONL che ti servono. Tuttavia, poiché tutti i file vengono caricati nella memoria del browser, l'elaborazione di dataset complessivamente molto grandi (diverse centinaia di MB) può risultare più lenta, a seconda del dispositivo.

Come funziona la rimozione dei duplicati?

La deduplicazione confronta l'intero contenuto di ogni riga dopo aver rimosso gli spazi iniziali e finali. Se due righe sono identiche (stessi caratteri, nello stesso ordine), la seconda occorrenza viene rimossa. La corrispondenza deve essere esatta: le righe con gli stessi dati ma con un ordine delle chiavi o una spaziatura diversi vengono considerate distinte.

Posso scegliere l’ordine in cui vengono uniti i file?

Sì. Dopo aver caricato i file, usa i pulsanti con le frecce su e giù accanto a ciascun file per riordinarli. Il risultato segue l'ordine dei file dall'alto verso il basso.

Cosa succede alle righe vuote nei file di input?

Le righe vuote e quelle che contengono solo spazi vengono escluse automaticamente durante la lettura dei file e non compaiono nel risultato. Questo comportamento segue la specifica JSONL, che prevede di ignorare le righe vuote.

Posso unire file con schemi JSON diversi?

Sì. Lo strumento unisce i file anche se hanno schemi diversi. Ogni riga viene mantenuta esattamente com'è. Se ti serve uno schema uniforme, valida o trasforma i singoli file prima di unirli.

L’unione mantiene l’ordine originale delle righe all’interno di ciascun file?

Sì. Le righe di ciascun file mantengono l'ordine originale. I file vengono concatenati nell'ordine mostrato nell'elenco, che puoi modificare prima dell'unione.

Che differenza c’è rispetto alla concatenazione manuale dei file?

Questo strumento offre un'interfaccia grafica con caricamento tramite drag-and-drop, riordino dei file, deduplicazione, validazione JSON, statistiche sul numero di righe e anteprima immediata. Rispetto alla concatenazione manuale con i comandi cat o copy, gestisce automaticamente casi particolari come i caratteri di fine riga finali e le righe vuote.

Strumenti e guide correlati