Strumento per dividere file JSONL
Dividi file JSONL (JSON Lines) di grandi dimensioni in parti più piccole, per numero di righe o dimensione del file. Tutto avviene al 100% lato client: i tuoi dati non escono mai dal browser.
Input JSONL
Trascina qui un file .jsonl oppure fai clic per selezionarlo
Formati supportati: .jsonl, .ndjson, .json, .txt
Opzioni di suddivisione
Risultati della suddivisione
Incolla il contenuto JSONL o trascina un file, imposta le opzioni e avvia la suddivisione
Come dividere i file JSONL
Carica il file JSONL di grandi dimensioni oppure incollane il contenuto nel campo di input. Lo strumento accetta file .jsonl, .ndjson, .json e .txt di qualsiasi dimensione.
Scegli se dividere il file per numero di righe (ad esempio, 1000 righe per file) o per dimensione (ad esempio, 10 MB per file). Lo strumento elabora ogni riga separatamente, mantenendo intatto ciascun record JSON.
Al termine della suddivisione, scarica ogni parte singolarmente oppure usa 'Scarica tutto in formato ZIP' per ottenere tutte le parti in un unico archivio. Ogni file generato è un file JSONL valido, pronto per l'uso.
Dividere per righe o per dimensione: perché non basta split -b?
Uno strumento per dividere file JSONL offre una garanzia fondamentale: nessun record viene mai spezzato a metà. La semplice suddivisione per byte non può garantirlo. Ecco i tre approcci a confronto:
| Metodo | Garanzia | Quando usarlo |
|---|---|---|
| Per numero di righe (questo strumento) | Ogni parte contiene esattamente N record completi | Sistemi con costi o limiti per record: batch di richieste API, campioni di test |
| Per dimensione desiderata, rispettando i confini delle righe (questo strumento) | Parti di dimensioni vicine al limite, separate solo in corrispondenza degli a capo | Limiti di caricamento in megabyte: ogni parte resta un file JSONL valido |
| Suddivisione per byte grezzi: split -b 100M | Nessuna: il taglio cade quasi sempre nel mezzo di un record, a livello di byte | Mai per JSONL: di solito ogni parte, tranne la prima, inizia con un record a metà |
Calcolare le dimensioni delle parti per la Batch API di OpenAI
Il caso d'uso tipico nel 2026: la Batch API di OpenAI impone un limite di 50.000 richieste e 200 MB per ogni file di input batch. Devi rispettare entrambi i limiti contemporaneamente, quindi calcola le dimensioni delle parti in base ai tuoi dati:
# Misura il file
wc -l batch_input.jsonl # → e.g. 120,000 requests
du -m batch_input.jsonl # → e.g. 310 MB
# Righe per parte = floor(min(50000, 120000 × 200/310))
# = floor(min(50000, 77419)) = 50000 → ma verifica la dimensione:
# 50000 righe ≈ 129 MB ✓ meno di 200 MB — quindi dividi ogni 50.000 righe
split -l 50000 batch_input.jsonl part_
# Risultato: part_aa, part_ab, part_ac — 3 file batch validiLo stesso calcolo vale per qualsiasi sistema che imponga due limiti (righe E megabyte). Nello strumento per browser, imposta il numero di righe per parte: vedrai le dimensioni di ciascuna parte prima di scaricarla, senza dover fare calcoli.
Cosa significa dividere un file JSONL?
Dividere un file JSONL (JSON Lines) significa suddividerlo in più file di dimensioni inferiori, ciascuno contenente una parte dei record originali. Dato che ogni riga di un file JSONL è un oggetto JSON indipendente, la suddivisione è semplice e non spezza mai i record.
Questa operazione è essenziale quando lavori con piattaforme di machine learning che impongono limiti alle dimensioni dei file da caricare, API batch che accettano un numero massimo di record per richiesta o pipeline di dati che funzionano meglio con file di input più piccoli. La suddivisione ti permette di elaborare i dati in blocchi gestibili senza modificarne il contenuto.
Casi d'uso comuni
- Limiti della Batch API di OpenAI
- Dividi file JSONL di grandi dimensioni per rispettare i limiti della Batch API di OpenAI (100 MB per file, 50.000 richieste per batch).
- Suddivisione dei dati di training per il machine learning
- Suddividi dataset di training di grandi dimensioni in set di training, validazione e test oppure in blocchi di uguali dimensioni per il training distribuito.
- Elaborazione parallela
- Dividi i file JSONL in blocchi da elaborare in parallelo su più worker, thread o funzioni serverless.
- Limiti alle dimensioni dei file da caricare
- Suddividi esportazioni JSONL di grandi dimensioni in file più piccoli che rispettino i limiti di caricamento delle piattaforme (upload multipart di AWS S3, GitHub, allegati email).
- Caricamento incrementale dei dati
- Suddividi dataset di grandi dimensioni in batch più piccoli da caricare in modo incrementale in database o data warehouse, evitando i timeout.
- Gestione con il controllo di versione
- Suddividi file di dati JSONL molto grandi in parti più piccole da gestire con Git, evitando gli avvisi sui file di grandi dimensioni e rendendo i diff più leggibili.
Problemi comuni e soluzioni
La suddivisione genera file vuoti
Può succedere se il numero di righe per file è superiore al numero totale di righe. Riduci il numero di righe per file oppure scegli la suddivisione per dimensione.
La suddivisione per dimensione genera parti di dimensioni diverse
Quando dividi un file per dimensione, l'ultima parte può essere più piccola della dimensione impostata, perché le righe non vengono mai spezzate a metà di un record. Ogni file contiene sempre e solo righe JSON complete.
Il browser rallenta con file molto grandi
Con file di oltre 500 MB, il browser potrebbe rallentare durante l'elaborazione. Per dataset estremamente grandi, valuta di dividere il file con strumenti da riga di comando come 'split' o 'wc -l', poi usa questo strumento per la verifica.
Domande frequenti
I miei dati sono al sicuro durante la suddivisione dei file?
Sì. La suddivisione avviene interamente in locale, nel browser, tramite JavaScript. Nessun dato viene inviato a un server. Il contenuto JSONL non esce mai dal tuo dispositivo.
C’è un limite alla dimensione dei file?
Non esiste un limite fisso. Lo strumento può gestire file di diverse centinaia di megabyte. Le prestazioni dipendono dal browser e dalla memoria del dispositivo.
La suddivisione mantiene l’ordine dei record?
Sì. I record vengono suddivisi in sequenza. Il primo file contiene le prime N righe, il secondo le N righe successive e così via. Nessun record viene riordinato o duplicato.
Posso suddividere un file in base al numero di righe e alla dimensione contemporaneamente?
Al momento puoi scegliere una sola modalità di suddivisione alla volta. Se devi rispettare entrambi i vincoli, dividi prima il file in base a quello più restrittivo, poi verifica che i file ottenuti soddisfino entrambi i requisiti.
Cosa succede alle righe vuote nel file JSONL?
Le righe vuote vengono mantenute durante la suddivisione. Se il file JSONL contiene righe vuote tra i record, queste compariranno nei file generati nella posizione originale. Se necessario, usa il nostro validatore JSONL per rimuoverle prima di dividere il file.
Posso riunire i file ottenuti dalla suddivisione?
Sì. Ogni file ottenuto dalla suddivisione è un file JSONL valido, quindi puoi concatenarli per ricostruire l'originale. Da riga di comando, usa 'cat part_*.jsonl > merged.jsonl'. Puoi anche usare i nostri strumenti JSONL per unire i file.
Come vengono nominati i file ottenuti dalla suddivisione?
I file ottenuti vengono denominati con un numero progressivo (ad esempio, part_001.jsonl, part_002.jsonl). Se scegli il download in formato ZIP, tutte le parti vengono incluse in un unico archivio.
Come funziona internamente la suddivisione in base alle dimensioni?
La suddivisione per dimensione aggiunge righe al file corrente fino a raggiungere la soglia impostata. A quel punto il file viene chiuso e la riga successiva dà inizio a un nuovo file. Le righe non vengono mai spezzate tra più file, quindi ogni parte può essere leggermente più grande o più piccola della dimensione prevista.
Strumenti e guide correlati
Combina più file JSONL in un unico file con deduplicazione.
Impara a strutturare i file JSONL per la Batch API di OpenAI. Formato delle richieste, parsing delle risposte e workflow completo con esempi di codice.
Strategie per elaborare gigabyte di dati JSONL: lettura in streaming, gestione della memoria, suddivisione dei file, compressione e strumenti online.
Valida i file JSONL riga per riga. Individua subito errori di sintassi e problemi di codifica o di formato.
Apri i file .jsonl e .ndjson direttamente nel tuo editor, in una tabella veloce da consultare e in cui puoi effettuare ricerche. Pensata per file troppo grandi da scorrere e per log ancora in fase di scrittura.