Divisor de JSONL

Divida arquivos JSONL (JSON Lines) grandes em partes menores por número de linhas ou tamanho do arquivo. O processamento é feito 100% no navegador, e seus dados nunca saem dele.

JSONL de entrada

Arraste um arquivo .jsonl para cá ou clique para selecionar

Aceita arquivos .jsonl, .ndjson, .json e .txt

Opções de divisão

Resultado da divisão

Cole o conteúdo JSONL ou arraste um arquivo, configure as opções e divida o arquivo

Como dividir arquivos JSONL

Carregue seu arquivo JSONL grande ou cole o conteúdo na área de entrada. A ferramenta aceita arquivos .jsonl, .ndjson, .json e .txt de qualquer tamanho.

Escolha como deseja dividir o arquivo: por número de linhas (por exemplo, 1000 linhas por arquivo) ou por tamanho (por exemplo, 10 MB por arquivo). A ferramenta processa cada linha de forma independente e mantém todos os registros JSON intactos.

Após a divisão, baixe cada parte separadamente ou use 'Baixar tudo como ZIP' para obter todas as partes em um único arquivo compactado. Cada arquivo gerado é um JSONL válido, pronto para uso.

Dividir por linhas ou por tamanho: por que não usar apenas split -b?

A principal vantagem de um divisor de JSONL é uma garantia: nenhum registro é cortado ao meio. Uma divisão genérica por bytes não oferece essa garantia. Veja a comparação entre as três abordagens:

MétodoGarantiaUse quando
Por número de linhas (esta ferramenta)Cada parte tem exatamente N registros completosSistemas que cobram ou impõem limites por registro — lotes de API, amostras de teste
Por tamanho definido, respeitando as linhas (esta ferramenta)Partes próximas do limite de tamanho, sempre separadas nas quebras de linhaLimites de upload em megabytes — cada parte continua sendo um JSONL válido
Divisão direta por bytes — split -b 100MNenhuma: quase sempre corta um registro no meio de um byteNunca para JSONL — em geral, todas as partes, exceto a primeira, começam no meio de um registro

Como dimensionar as partes para a Batch API da OpenAI

Um caso típico de divisão em 2026: a Batch API da OpenAI limita cada arquivo de entrada de um lote a 50.000 requisições e 200 MB. Os dois limites precisam ser respeitados ao mesmo tempo, então calcule o tamanho de cada parte com base nos seus próprios dados:

# Medir o arquivo
wc -l batch_input.jsonl        # → ex.: 120.000 requisições
du -m batch_input.jsonl        # → ex.: 310 MB


# Linhas por bloco = floor(min(50000, 120000 × 200/310))
#                  = floor(min(50000, 77419)) = 50000 → mas confira o tamanho:
# 50000 linhas ≈ 129 MB ✓ abaixo de 200 MB — então divida em 50.000 linhas
split -l 50000 batch_input.jsonl part_


# Resultado: part_aa, part_ab, part_ac — 3 arquivos de lote válidos

O mesmo cálculo vale para qualquer destino com dois limites (linhas E megabytes). Na ferramenta do navegador, basta definir o número de linhas por parte: ela informa o tamanho de cada parte antes do download, sem você precisar fazer contas.

O que é a divisão de arquivos JSONL?

Dividir um arquivo JSONL (JSON Lines) significa separar um arquivo grande em vários arquivos menores, cada um com uma parte dos registros originais. Como cada linha de um arquivo JSONL é um objeto JSON independente, a divisão é simples e mantém todos os registros intactos.

Isso é essencial ao trabalhar com plataformas de aprendizado de máquina que limitam o tamanho dos uploads, APIs em lote que aceitam um número máximo de registros por requisição ou pipelines de dados que funcionam melhor com arquivos de entrada menores. A divisão permite processar os dados em partes mais fáceis de gerenciar, sem alterar o conteúdo.

Casos de uso comuns

Limites da Batch API da OpenAI
Divida arquivos JSONL grandes para respeitar os limites da Batch API da OpenAI (100 MB por arquivo, 50.000 requisições por lote).
Particionamento de dados para treinamento de ML
Separe grandes datasets de treinamento em conjuntos de treino, validação e teste ou em partes de mesmo tamanho para treinamento distribuído.
Processamento paralelo
Divida arquivos JSONL em partes para processá-las em paralelo com vários workers, threads ou funções serverless.
Limites de tamanho de upload
Divida grandes exportações JSONL em arquivos menores que respeitem os limites de upload das plataformas (upload multipart do AWS S3, GitHub, anexos de e-mail).
Carregamento incremental de dados
Divida grandes datasets em lotes menores para carregar os dados de forma incremental em bancos de dados ou data warehouses e evitar timeouts.
Facilita o controle de versão
Divida arquivos de dados JSONL muito grandes em partes menores para o controle de versão com Git. Isso evita avisos sobre arquivos grandes e facilita a leitura dos diffs.

Erros comuns e soluções

A divisão gera arquivos vazios

Isso pode acontecer quando o número de linhas por arquivo é maior que o total de linhas. Reduza esse número ou use a divisão por tamanho.

A divisão por tamanho gera partes desiguais

Ao dividir por tamanho, a última parte pode ficar menor que o tamanho definido, pois as linhas nunca são cortadas no meio de um registro. Todos os arquivos contêm apenas linhas JSON completas.

O navegador fica lento com arquivos muito grandes

Ao processar arquivos com mais de 500 MB, o navegador pode ficar lento. Para datasets extremamente grandes, considere dividir o arquivo com ferramentas de linha de comando, como 'split' ou 'wc -l', e depois usar esta ferramenta para verificar o resultado.

Perguntas frequentes

Meus dados estão seguros durante a divisão do arquivo?

Sim. Toda a divisão é feita localmente no seu navegador, com JavaScript. Nenhum dado é enviado a servidores. O conteúdo JSONL nunca sai do seu dispositivo.

Há um limite de tamanho para os arquivos?

Não há um limite fixo. A ferramenta consegue processar arquivos de várias centenas de megabytes. O desempenho depende do seu navegador e da memória do dispositivo.

A divisão preserva a ordem dos registros?

Sim. Os registros são divididos em sequência. O primeiro arquivo contém as primeiras N linhas, o segundo contém as próximas N linhas, e assim por diante. Nenhum registro muda de ordem ou é duplicado.

Posso dividir um arquivo por número de linhas e por tamanho ao mesmo tempo?

Atualmente, você pode escolher um modo de divisão por vez. Se precisar respeitar os dois limites, comece pelo mais restritivo e depois verifique se os arquivos gerados atendem aos dois requisitos.

O que acontece com as linhas vazias do arquivo JSONL?

As linhas vazias são preservadas durante a divisão. Se o seu arquivo JSONL tiver linhas vazias entre os registros, elas aparecerão nos arquivos gerados nas mesmas posições. Se necessário, use nosso Validador JSONL para remover as linhas vazias antes da divisão.

Posso juntar os arquivos divididos novamente?

Sim. Como cada arquivo gerado é um JSONL válido, você pode concatená-los para reconstruir o original. Na linha de comando, use 'cat part_*.jsonl > merged.jsonl'. Você também pode usar nossas ferramentas de JSONL para juntar os arquivos.

Qual padrão de nomes é usado para os arquivos gerados pela divisão?

Os arquivos gerados recebem um número sequencial para identificar cada parte (por exemplo, part_001.jsonl, part_002.jsonl). Ao baixar em ZIP, todas as partes são incluídas em um único arquivo compactado.

Como funciona internamente a divisão por tamanho?

A divisão por tamanho acumula linhas até atingir o tamanho definido. Nesse ponto, o arquivo atual é fechado e um novo arquivo começa com a próxima linha. Uma linha nunca é repartida entre arquivos, por isso cada parte pode ficar um pouco acima ou abaixo do tamanho definido.

Ferramentas e guias relacionados