Unificatore JSONL
Combina più file JSONL (JSON Lines) in un unico file. Riordina, deduplica e valida le righe. 100% lato client, i tuoi dati non lasciano mai il tuo browser.
File di Input
Trascina file .jsonl qui, o clicca per selezionare più file
Supporta .jsonl, .ndjson, .json, .txt
Opzioni di Unione
File di Input
Trascina file .jsonl qui, o clicca per selezionare più file
Supporta .jsonl, .ndjson, .json, .txt
Opzioni di Unione
Output Unificato
Trascina o seleziona file JSONL da unificare
Come Unificare File JSONL
Seleziona o trascina più file JSONL nell'area di caricamento. Ogni file viene letto interamente nel tuo browser — nessun dato viene inviato a nessun server. I file possono essere nei formati .jsonl, .ndjson, .json o .txt.
Una volta caricati, puoi riordinare i file usando le frecce su/giù per controllare l'ordine di unione. Abilita la deduplicazione per rimuovere righe duplicate basandosi sul contenuto completo, o abilita la validazione JSON per saltare righe che non sono JSON valido.
L'output unificato appare nel pannello di anteprima mostrando le prime 100 righe. Scarica il file unificato completo come file .jsonl o copialo negli appunti. Le statistiche mostrano il conteggio totale delle righe, la dimensione del file e qualsiasi duplicato o riga non valida rimossa.
Cos'è l'Unione JSONL?
L'unione JSONL è il processo di combinazione di più file JSONL (JSON Lines) in un unico file. Ogni file di input contiene un oggetto JSON per riga, e l'unificatore concatena tutte le righe da tutti i file in un unico file di output preservando l'ordine specificato.
Questo è essenziale quando si lavora con dataset suddivisi in più file — come shard di dati di addestramento, esportazioni giornaliere di log o risposte API chunked. L'unione li consolida in un unico file per un'elaborazione, analisi o caricamento più semplice su piattaforme che prevedono un singolo input JSONL.
Casi d'Uso Comuni
Consolidamento Dataset
Combina più shard di dati di addestramento JSONL in un unico file per il caricamento su OpenAI fine-tuning, Hugging Face o altre piattaforme ML.
Assemblaggio Pipeline di Dati
Unisci file di output da pipeline di elaborazione dati parallele in un unico file JSONL per il consumo a valle.
Preparazione Dati di Addestramento ML
Consolida coppie prompt-completamento da più fonti in un unico file JSONL pronto per il fine-tuning del modello.
Aggregazione File di Log
Combina esportazioni di log JSONL giornaliere o orarie in un unico file per un'analisi e ricerca completa dei log.
Collaborazione di Team
Unisci file di dati JSONL contribuiti da diversi membri del team in un dataset unificato per analisi condivisa.
Unione Dati Analitici
Combina dati di eventi JSONL da più servizi o periodi di tempo per analisi e reportistica unificata.
Errori Comuni e Soluzioni
Record Duplicati Tra i File
Quando si uniscono esportazioni JSONL sovrapposte (ad es., log giornalieri con timestamp sovrapposti), possono verificarsi duplicati. Abilita l'opzione 'Rimuovi duplicati' per deduplicare automaticamente basandosi sul contenuto esatto della riga. Per la deduplicazione semantica (stessi dati, formattazione diversa), formatta tutti i file in modo coerente prima usando il Formattatore JSONL.
Codifica Mista Tra i File
File da fonti diverse possono usare codifiche di caratteri diverse (UTF-8, UTF-8 con BOM, Windows-1252). Questo può causare il fallimento del parsing JSON della prima riga di alcuni file. Assicurati che tutti i file siano salvati come UTF-8 senza BOM prima dell'unione.
Schemi Inconsistenti Tra i File
File JSONL da fonti diverse possono avere strutture di chiavi diverse. Mentre l'unificatore combina i file indipendentemente dalle differenze di schema, gli strumenti a valle potrebbero aspettarsi schemi coerenti. Valida il tuo output unificato con il Validatore JSONL per assicurarti che ogni riga sia JSON valido.
Domande Frequenti
Come vengono combinati i file JSONL?
Sì. Tutta l'unione avviene localmente nel tuo browser. Nessun dato dei file viene caricato su alcun server. I tuoi file JSONL non lasciano mai il tuo dispositivo.
Come funziona la rimozione dei duplicati?
Non c'è un limite fisso al numero di file. Puoi aggiungere quanti file JSONL necessari. Tuttavia, poiché tutti i file vengono caricati nella memoria del browser, dataset combinati molto grandi (diverse centinaia di MB) potrebbero essere più lenti a seconda del tuo dispositivo.
Questo unificatore JSONL carica i miei file?
La deduplicazione confronta il contenuto completo e trimmato di ogni riga. Se due righe sono identiche (stessi caratteri, stesso ordine), la seconda occorrenza viene rimossa. Questa è deduplicazione per corrispondenza esatta — righe con gli stessi dati ma ordine delle chiavi o spazi diversi sono trattate come diverse.
Posso convertire anche file NDJSON con questo strumento?
Sì. Dopo il caricamento, usa i pulsanti freccia su e giù accanto a ogni file per riordinarli. L'output unificato segue l'ordine dei file dall'alto verso il basso.
Quanti file posso unire contemporaneamente?
Le righe vuote e le righe con solo spazi vengono filtrate automaticamente durante la lettura del file. Non appaiono nell'output unificato. Questo segue la specifica JSONL dove le righe vuote vengono ignorate.
Come posso dividere nuovamente il file unificato?
Sì. L'unificatore combina i file indipendentemente dalle differenze di schema. Ogni riga viene preservata esattamente com'è. Se hai bisogno di coerenza nello schema, valida o trasforma i file individualmente prima dell'unione.
Posso controllare l'ordine dei file nell'unione?
Sì. Le righe all'interno di ogni file mantengono il loro ordine originale. I file vengono concatenati nell'ordine mostrato nella lista dei file. Puoi regolare l'ordine dei file prima dell'unione.
Posso unire file con schemi JSON diversi?
Questo strumento offre un'interfaccia visuale con caricamento drag-and-drop, riordinamento dei file, deduplicazione, validazione JSON, statistiche sul conteggio delle righe e anteprima istantanea. A differenza della concatenazione manuale con comandi cat o copy, gestisce automaticamente casi particolari come nuove righe finali e righe vuote.