- Início
- Ferramentas
- Divisor de JSONL
Divisor de JSONL
Divida arquivos JSONL (JSON Lines) grandes em partes menores por número de linhas ou tamanho do arquivo. O processamento é feito 100% no navegador, e seus dados nunca saem dele.
JSONL de entrada
Arraste um arquivo .jsonl para cá ou clique para selecionar
Aceita arquivos .jsonl, .ndjson, .json e .txt
Opções de divisão
Resultado da divisão
Cole o conteúdo JSONL ou arraste um arquivo, configure as opções e divida o arquivo
Como dividir arquivos JSONL
Carregue seu arquivo JSONL grande ou cole o conteúdo na área de entrada. A ferramenta aceita arquivos .jsonl, .ndjson, .json e .txt de qualquer tamanho.
Escolha como deseja dividir o arquivo: por número de linhas (por exemplo, 1000 linhas por arquivo) ou por tamanho (por exemplo, 10 MB por arquivo). A ferramenta processa cada linha de forma independente e mantém todos os registros JSON intactos.
Após a divisão, baixe cada parte separadamente ou use 'Baixar tudo como ZIP' para obter todas as partes em um único arquivo compactado. Cada arquivo gerado é um JSONL válido, pronto para uso.
Dividir por linhas ou por tamanho: por que não usar apenas split -b?
A principal vantagem de um divisor de JSONL é uma garantia: nenhum registro é cortado ao meio. Uma divisão genérica por bytes não oferece essa garantia. Veja a comparação entre as três abordagens:
| Método | Garantia | Use quando |
|---|---|---|
| Por número de linhas (esta ferramenta) | Cada parte tem exatamente N registros completos | Sistemas que cobram ou impõem limites por registro — lotes de API, amostras de teste |
| Por tamanho definido, respeitando as linhas (esta ferramenta) | Partes próximas do limite de tamanho, sempre separadas nas quebras de linha | Limites de upload em megabytes — cada parte continua sendo um JSONL válido |
| Divisão direta por bytes — split -b 100M | Nenhuma: quase sempre corta um registro no meio de um byte | Nunca para JSONL — em geral, todas as partes, exceto a primeira, começam no meio de um registro |
Como dimensionar as partes para a Batch API da OpenAI
Um caso típico de divisão em 2026: a Batch API da OpenAI limita cada arquivo de entrada de um lote a 50.000 requisições e 200 MB. Os dois limites precisam ser respeitados ao mesmo tempo, então calcule o tamanho de cada parte com base nos seus próprios dados:
# Medir o arquivo
wc -l batch_input.jsonl # → ex.: 120.000 requisições
du -m batch_input.jsonl # → ex.: 310 MB
# Linhas por bloco = floor(min(50000, 120000 × 200/310))
# = floor(min(50000, 77419)) = 50000 → mas confira o tamanho:
# 50000 linhas ≈ 129 MB ✓ abaixo de 200 MB — então divida em 50.000 linhas
split -l 50000 batch_input.jsonl part_
# Resultado: part_aa, part_ab, part_ac — 3 arquivos de lote válidosO mesmo cálculo vale para qualquer destino com dois limites (linhas E megabytes). Na ferramenta do navegador, basta definir o número de linhas por parte: ela informa o tamanho de cada parte antes do download, sem você precisar fazer contas.
O que é a divisão de arquivos JSONL?
Dividir um arquivo JSONL (JSON Lines) significa separar um arquivo grande em vários arquivos menores, cada um com uma parte dos registros originais. Como cada linha de um arquivo JSONL é um objeto JSON independente, a divisão é simples e mantém todos os registros intactos.
Isso é essencial ao trabalhar com plataformas de aprendizado de máquina que limitam o tamanho dos uploads, APIs em lote que aceitam um número máximo de registros por requisição ou pipelines de dados que funcionam melhor com arquivos de entrada menores. A divisão permite processar os dados em partes mais fáceis de gerenciar, sem alterar o conteúdo.
Casos de uso comuns
- Limites da Batch API da OpenAI
- Divida arquivos JSONL grandes para respeitar os limites da Batch API da OpenAI (100 MB por arquivo, 50.000 requisições por lote).
- Particionamento de dados para treinamento de ML
- Separe grandes datasets de treinamento em conjuntos de treino, validação e teste ou em partes de mesmo tamanho para treinamento distribuído.
- Processamento paralelo
- Divida arquivos JSONL em partes para processá-las em paralelo com vários workers, threads ou funções serverless.
- Limites de tamanho de upload
- Divida grandes exportações JSONL em arquivos menores que respeitem os limites de upload das plataformas (upload multipart do AWS S3, GitHub, anexos de e-mail).
- Carregamento incremental de dados
- Divida grandes datasets em lotes menores para carregar os dados de forma incremental em bancos de dados ou data warehouses e evitar timeouts.
- Facilita o controle de versão
- Divida arquivos de dados JSONL muito grandes em partes menores para o controle de versão com Git. Isso evita avisos sobre arquivos grandes e facilita a leitura dos diffs.
Erros comuns e soluções
A divisão gera arquivos vazios
Isso pode acontecer quando o número de linhas por arquivo é maior que o total de linhas. Reduza esse número ou use a divisão por tamanho.
A divisão por tamanho gera partes desiguais
Ao dividir por tamanho, a última parte pode ficar menor que o tamanho definido, pois as linhas nunca são cortadas no meio de um registro. Todos os arquivos contêm apenas linhas JSON completas.
O navegador fica lento com arquivos muito grandes
Ao processar arquivos com mais de 500 MB, o navegador pode ficar lento. Para datasets extremamente grandes, considere dividir o arquivo com ferramentas de linha de comando, como 'split' ou 'wc -l', e depois usar esta ferramenta para verificar o resultado.
Perguntas frequentes
Meus dados estão seguros durante a divisão do arquivo?
Sim. Toda a divisão é feita localmente no seu navegador, com JavaScript. Nenhum dado é enviado a servidores. O conteúdo JSONL nunca sai do seu dispositivo.
Há um limite de tamanho para os arquivos?
Não há um limite fixo. A ferramenta consegue processar arquivos de várias centenas de megabytes. O desempenho depende do seu navegador e da memória do dispositivo.
A divisão preserva a ordem dos registros?
Sim. Os registros são divididos em sequência. O primeiro arquivo contém as primeiras N linhas, o segundo contém as próximas N linhas, e assim por diante. Nenhum registro muda de ordem ou é duplicado.
Posso dividir um arquivo por número de linhas e por tamanho ao mesmo tempo?
Atualmente, você pode escolher um modo de divisão por vez. Se precisar respeitar os dois limites, comece pelo mais restritivo e depois verifique se os arquivos gerados atendem aos dois requisitos.
O que acontece com as linhas vazias do arquivo JSONL?
As linhas vazias são preservadas durante a divisão. Se o seu arquivo JSONL tiver linhas vazias entre os registros, elas aparecerão nos arquivos gerados nas mesmas posições. Se necessário, use nosso Validador JSONL para remover as linhas vazias antes da divisão.
Posso juntar os arquivos divididos novamente?
Sim. Como cada arquivo gerado é um JSONL válido, você pode concatená-los para reconstruir o original. Na linha de comando, use 'cat part_*.jsonl > merged.jsonl'. Você também pode usar nossas ferramentas de JSONL para juntar os arquivos.
Qual padrão de nomes é usado para os arquivos gerados pela divisão?
Os arquivos gerados recebem um número sequencial para identificar cada parte (por exemplo, part_001.jsonl, part_002.jsonl). Ao baixar em ZIP, todas as partes são incluídas em um único arquivo compactado.
Como funciona internamente a divisão por tamanho?
A divisão por tamanho acumula linhas até atingir o tamanho definido. Nesse ponto, o arquivo atual é fechado e um novo arquivo começa com a próxima linha. Uma linha nunca é repartida entre arquivos, por isso cada parte pode ficar um pouco acima ou abaixo do tamanho definido.
Ferramentas e guias relacionados
Combine vários arquivos JSONL em um único arquivo com deduplicação.
Aprenda a estruturar arquivos JSONL para a Batch API da OpenAI. Veja o formato das requisições, a interpretação das respostas e o fluxo de trabalho completo, com exemplos de código.
Estratégias para processar gigabytes de dados JSONL: leitura por streaming, gerenciamento de memória, divisão de arquivos, compressão e ferramentas online.
Valide arquivos JSONL linha por linha. Detecte erros de sintaxe, problemas de codificação e de formato instantaneamente.
Abra arquivos .jsonl e .ndjson em uma tabela rápida e pesquisável, direto no seu editor. Feita para arquivos grandes demais para percorrer com a rolagem e para logs que continuam recebendo novas entradas.