- Início
- Ferramentas
- Mesclador de JSONL
Mesclador de JSONL
Combine vários arquivos JSONL (JSON Lines) em um só. Altere a ordem dos arquivos, remova duplicatas e valide as linhas. Processamento 100% no navegador: seus dados nunca saem dele.
Arquivos de entrada
Arraste e solte arquivos .jsonl aqui ou clique para selecionar vários arquivos
Aceita .jsonl, .ndjson, .json e .txt
Opções de mesclagem
Resultado da mesclagem
Arraste e solte ou selecione arquivos JSONL para mesclar
Por que cat file1.jsonl file2.jsonl pode corromper seus dados
Concatenar parece a maneira óbvia de mesclar JSONL, e funciona até encontrar um arquivo sem quebra de linha no final. Nesse caso, o último registro de um arquivo e o primeiro do seguinte ficam colados na mesma linha, tornando-a inválida:
# file1.jsonl termina SEM quebra de linha final:
{"id": 1}
{"id": 2}⏎faltando
# file2.jsonl:
{"id": 3}
# cat file1.jsonl file2.jsonl produz:
{"id": 1}
{"id": 2}{"id": 3} ← uma linha quebrada: erro de parseamento, dois registros perdidosEsta ferramenta verifica o último byte de cada arquivo de entrada e insere a quebra de linha ausente antes de concatená-los. Assim, o resultado da mesclagem é sempre válido, independentemente de como os arquivos foram salvos. Se precisar usar cat em um pipeline, a forma de evitar esse problema é: awk 1 file1.jsonl file2.jsonl (o awk adiciona uma quebra de linha ao final de cada linha).
Como mesclar arquivos JSONL
Selecione vários arquivos JSONL ou arraste e solte os arquivos na área de upload. Cada arquivo é lido inteiramente no seu navegador, sem enviar dados a nenhum servidor. Os formatos aceitos são .jsonl, .ndjson, .json e .txt.
Depois de carregar os arquivos, use as setas para cima e para baixo para definir a ordem de mesclagem. Ative a deduplicação para remover linhas duplicadas com base no conteúdo completo de cada linha ou ative a validação de JSON para ignorar linhas que não contenham JSON válido.
O painel de pré-visualização exibe as primeiras 100 linhas do resultado. Baixe o arquivo completo em .jsonl ou copie o conteúdo para a área de transferência. As estatísticas mostram o total de linhas, o tamanho do arquivo e as duplicatas ou linhas inválidas removidas.
Como a mesclagem funciona, em detalhes
- Ordem
- Os arquivos são concatenados na ordem em que você os adiciona, preservando a ordem dos registros de cada arquivo. A mesclagem apenas acrescenta registros ao final: eles nunca são reordenados, reescritos ou reformatados.
- Correção na junção dos arquivos
- Se faltar uma quebra de linha no final de algum arquivo de entrada, ela será inserida automaticamente (veja o exemplo acima). Linhas em branco entre registros são descartadas, pois algumas ferramentas que leem JSONL as rejeitam.
- Deduplicação por linha exata
- Opcional. Dois registros só são considerados duplicados quando suas linhas originais são idênticas byte a byte: {"a":1,"b":2} e {"b":2,"a":1} NÃO são deduplicados, pois a ordem das chaves torna as linhas diferentes, mesmo que os valores JSON sejam iguais. Se precisar remover duplicatas com base nos valores, primeiro normalize os arquivos com a opção de ordenar chaves do formatador.
- Dividir e mesclar novamente
- Mesclar é a operação inversa exata de dividir: divida um arquivo em N blocos, mescle-os novamente na mesma ordem e o resultado será idêntico byte a byte ao original (com a deduplicação desativada). Essa propriedade permite usar com segurança um pipeline que segue o fluxo dividir → processar em paralelo → mesclar.
O que é mesclagem de JSONL?
Mesclar JSONL é combinar vários arquivos JSONL (JSON Lines) em um só. Cada arquivo de entrada contém um objeto JSON por linha. O mesclador concatena todas as linhas de todos os arquivos em um único arquivo de saída, respeitando a ordem que você definir.
Isso é essencial ao trabalhar com datasets distribuídos em vários arquivos, como partes de um conjunto de dados de treinamento, exportações diárias de logs ou respostas de API divididas em blocos. A mesclagem reúne tudo em um único arquivo, facilitando o processamento, a análise ou o envio para plataformas que exigem um único arquivo JSONL como entrada.
Erros comuns e soluções
Registros duplicados em arquivos diferentes
Ao mesclar exportações JSONL com dados em comum, como logs diários com timestamps que se sobrepõem, podem surgir duplicatas. Ative a opção 'Remover duplicatas' para removê-las automaticamente com base no conteúdo exato de cada linha. Para fazer a deduplicação semântica (mesmos dados, formatação diferente), primeiro padronize a formatação de todos os arquivos com o Formatador JSONL.
Codificações diferentes entre arquivos
Arquivos de fontes distintas podem usar codificações de caracteres diferentes (UTF-8, UTF-8 com BOM, Windows-1252). Isso pode causar erros ao interpretar o JSON da primeira linha de alguns arquivos. Antes de mesclar, certifique-se de que todos os arquivos estejam salvos em UTF-8 sem BOM.
Schemas inconsistentes entre arquivos
Arquivos JSONL de fontes distintas podem ter estruturas de chaves diferentes. O mesclador combina os arquivos mesmo que os schemas sejam diferentes, mas as ferramentas usadas nas etapas seguintes podem exigir schemas consistentes. Valide o resultado com o Validador JSONL para garantir que cada linha contenha JSON válido.
Casos de uso comuns
- Consolidação de datasets
- Reúna as partes de um conjunto de dados de treinamento em JSONL em um único arquivo para enviar ao serviço de fine-tuning da OpenAI, ao Hugging Face ou a outras plataformas de machine learning.
- Integração de pipelines de dados
- Mescle os arquivos de saída de pipelines que processam dados em paralelo em um único arquivo JSONL para uso nas etapas seguintes.
- Preparação de dados para treinamento de modelos
- Reúna pares de prompt-completion de várias fontes em um único arquivo JSONL pronto para o fine-tuning de modelos.
- Agregação de arquivos de log
- Combine exportações de logs JSONL feitas por dia ou por hora em um único arquivo para analisar e pesquisar todos os logs em conjunto.
- Colaboração em equipe
- Mescle os arquivos de dados JSONL fornecidos por diferentes membros da equipe em um dataset unificado para análise conjunta.
- Mesclagem de dados para análise
- Combine dados de eventos em JSONL de vários serviços ou períodos para unificar as análises e os relatórios.
Perguntas frequentes
Meus dados estão seguros ao mesclar arquivos?
Sim. Toda a mesclagem é feita localmente no seu navegador. Nenhum dado dos arquivos é enviado a servidores. Seus arquivos JSONL nunca saem do seu dispositivo.
Há um limite para a quantidade de arquivos que posso mesclar?
Não há um limite fixo para o número de arquivos. Você pode adicionar quantos arquivos JSONL precisar. Porém, como todos os arquivos são carregados na memória do navegador, o processamento de datasets que somam várias centenas de MB pode ser mais lento, dependendo do seu dispositivo.
Como funciona a deduplicação?
A deduplicação compara o conteúdo completo de cada linha, desconsiderando os espaços em branco no início e no fim. Se duas linhas forem idênticas (mesmos caracteres, na mesma ordem), a segunda ocorrência será removida. A comparação é exata: linhas com os mesmos dados, mas com as chaves em outra ordem ou com espaçamento diferente, são tratadas como distintas.
Posso controlar a ordem em que os arquivos são mesclados?
Sim. Depois de carregar os arquivos, use os botões de seta para cima e para baixo ao lado de cada arquivo para ajustar a ordem. O resultado da mesclagem segue a ordem da lista, de cima para baixo.
O que acontece com as linhas vazias dos arquivos de entrada?
Linhas vazias ou que contêm apenas espaços em branco são removidas automaticamente durante a leitura dos arquivos e não aparecem no resultado da mesclagem. Isso segue a especificação JSONL, que ignora linhas em branco.
Posso mesclar arquivos com esquemas JSON diferentes?
Sim. O mesclador combina os arquivos mesmo que os schemas sejam diferentes. Cada linha é preservada exatamente como está. Se você precisar de schemas consistentes, valide ou transforme cada arquivo antes de mesclar.
A mesclagem preserva a ordem original das linhas dentro de cada arquivo?
Sim. As linhas de cada arquivo mantêm a ordem original. Os arquivos são concatenados na ordem exibida na lista, que você pode ajustar antes de mesclar.
Qual é a diferença entre usar esta ferramenta e concatenar os arquivos manualmente?
Esta ferramenta oferece uma interface visual para carregar arquivos arrastando e soltando, alterar a ordem dos arquivos, remover duplicatas e validar o JSON, além de estatísticas de contagem de linhas e pré-visualização instantânea. Ao contrário da concatenação manual com os comandos cat ou copy, ela trata automaticamente casos especiais, como quebras de linha no fim dos arquivos e linhas vazias.
Ferramentas e guias relacionados
Divida arquivos JSONL grandes em partes menores e gerenciáveis por número de linhas.
Valide arquivos JSONL linha por linha. Detecte erros de sintaxe, problemas de codificação e de formato instantaneamente.
Domine as boas práticas de JSONL para formatação, consistência de schema, tratamento de erros, otimização de desempenho e organização de arquivos. Evite problemas comuns com exemplos práticos.
Estratégias para processar gigabytes de dados JSONL: leitura por streaming, gerenciamento de memória, divisão de arquivos, compressão e ferramentas online.
Visualize e edite arquivos JSONL de até 1GB instantaneamente no seu navegador. Um leitor gratuito de arquivos JSONL com streaming, realce de sintaxe e validação em tempo real. Sem uploads nem cadastro — seus dados ficam no seu dispositivo.