Mesclador de JSONL

Combine vários arquivos JSONL (JSON Lines) em um só. Altere a ordem dos arquivos, remova duplicatas e valide as linhas. Processamento 100% no navegador: seus dados nunca saem dele.

Arquivos de entrada

Arraste e solte arquivos .jsonl aqui ou clique para selecionar vários arquivos

Aceita .jsonl, .ndjson, .json e .txt

Opções de mesclagem

Resultado da mesclagem

Arraste e solte ou selecione arquivos JSONL para mesclar

Por que cat file1.jsonl file2.jsonl pode corromper seus dados

Concatenar parece a maneira óbvia de mesclar JSONL, e funciona até encontrar um arquivo sem quebra de linha no final. Nesse caso, o último registro de um arquivo e o primeiro do seguinte ficam colados na mesma linha, tornando-a inválida:

# file1.jsonl termina SEM quebra de linha final:
{"id": 1}
{"id": 2}⏎faltando


# file2.jsonl:
{"id": 3}


# cat file1.jsonl file2.jsonl produz:
{"id": 1}
{"id": 2}{"id": 3}   ← uma linha quebrada: erro de parseamento, dois registros perdidos

Esta ferramenta verifica o último byte de cada arquivo de entrada e insere a quebra de linha ausente antes de concatená-los. Assim, o resultado da mesclagem é sempre válido, independentemente de como os arquivos foram salvos. Se precisar usar cat em um pipeline, a forma de evitar esse problema é: awk 1 file1.jsonl file2.jsonl (o awk adiciona uma quebra de linha ao final de cada linha).

Como mesclar arquivos JSONL

Selecione vários arquivos JSONL ou arraste e solte os arquivos na área de upload. Cada arquivo é lido inteiramente no seu navegador, sem enviar dados a nenhum servidor. Os formatos aceitos são .jsonl, .ndjson, .json e .txt.

Depois de carregar os arquivos, use as setas para cima e para baixo para definir a ordem de mesclagem. Ative a deduplicação para remover linhas duplicadas com base no conteúdo completo de cada linha ou ative a validação de JSON para ignorar linhas que não contenham JSON válido.

O painel de pré-visualização exibe as primeiras 100 linhas do resultado. Baixe o arquivo completo em .jsonl ou copie o conteúdo para a área de transferência. As estatísticas mostram o total de linhas, o tamanho do arquivo e as duplicatas ou linhas inválidas removidas.

Como a mesclagem funciona, em detalhes

Ordem
Os arquivos são concatenados na ordem em que você os adiciona, preservando a ordem dos registros de cada arquivo. A mesclagem apenas acrescenta registros ao final: eles nunca são reordenados, reescritos ou reformatados.
Correção na junção dos arquivos
Se faltar uma quebra de linha no final de algum arquivo de entrada, ela será inserida automaticamente (veja o exemplo acima). Linhas em branco entre registros são descartadas, pois algumas ferramentas que leem JSONL as rejeitam.
Deduplicação por linha exata
Opcional. Dois registros só são considerados duplicados quando suas linhas originais são idênticas byte a byte: {"a":1,"b":2} e {"b":2,"a":1} NÃO são deduplicados, pois a ordem das chaves torna as linhas diferentes, mesmo que os valores JSON sejam iguais. Se precisar remover duplicatas com base nos valores, primeiro normalize os arquivos com a opção de ordenar chaves do formatador.
Dividir e mesclar novamente
Mesclar é a operação inversa exata de dividir: divida um arquivo em N blocos, mescle-os novamente na mesma ordem e o resultado será idêntico byte a byte ao original (com a deduplicação desativada). Essa propriedade permite usar com segurança um pipeline que segue o fluxo dividir → processar em paralelo → mesclar.

O que é mesclagem de JSONL?

Mesclar JSONL é combinar vários arquivos JSONL (JSON Lines) em um só. Cada arquivo de entrada contém um objeto JSON por linha. O mesclador concatena todas as linhas de todos os arquivos em um único arquivo de saída, respeitando a ordem que você definir.

Isso é essencial ao trabalhar com datasets distribuídos em vários arquivos, como partes de um conjunto de dados de treinamento, exportações diárias de logs ou respostas de API divididas em blocos. A mesclagem reúne tudo em um único arquivo, facilitando o processamento, a análise ou o envio para plataformas que exigem um único arquivo JSONL como entrada.

Erros comuns e soluções

Registros duplicados em arquivos diferentes

Ao mesclar exportações JSONL com dados em comum, como logs diários com timestamps que se sobrepõem, podem surgir duplicatas. Ative a opção 'Remover duplicatas' para removê-las automaticamente com base no conteúdo exato de cada linha. Para fazer a deduplicação semântica (mesmos dados, formatação diferente), primeiro padronize a formatação de todos os arquivos com o Formatador JSONL.

Codificações diferentes entre arquivos

Arquivos de fontes distintas podem usar codificações de caracteres diferentes (UTF-8, UTF-8 com BOM, Windows-1252). Isso pode causar erros ao interpretar o JSON da primeira linha de alguns arquivos. Antes de mesclar, certifique-se de que todos os arquivos estejam salvos em UTF-8 sem BOM.

Schemas inconsistentes entre arquivos

Arquivos JSONL de fontes distintas podem ter estruturas de chaves diferentes. O mesclador combina os arquivos mesmo que os schemas sejam diferentes, mas as ferramentas usadas nas etapas seguintes podem exigir schemas consistentes. Valide o resultado com o Validador JSONL para garantir que cada linha contenha JSON válido.

Casos de uso comuns

Consolidação de datasets
Reúna as partes de um conjunto de dados de treinamento em JSONL em um único arquivo para enviar ao serviço de fine-tuning da OpenAI, ao Hugging Face ou a outras plataformas de machine learning.
Integração de pipelines de dados
Mescle os arquivos de saída de pipelines que processam dados em paralelo em um único arquivo JSONL para uso nas etapas seguintes.
Preparação de dados para treinamento de modelos
Reúna pares de prompt-completion de várias fontes em um único arquivo JSONL pronto para o fine-tuning de modelos.
Agregação de arquivos de log
Combine exportações de logs JSONL feitas por dia ou por hora em um único arquivo para analisar e pesquisar todos os logs em conjunto.
Colaboração em equipe
Mescle os arquivos de dados JSONL fornecidos por diferentes membros da equipe em um dataset unificado para análise conjunta.
Mesclagem de dados para análise
Combine dados de eventos em JSONL de vários serviços ou períodos para unificar as análises e os relatórios.

Perguntas frequentes

Meus dados estão seguros ao mesclar arquivos?

Sim. Toda a mesclagem é feita localmente no seu navegador. Nenhum dado dos arquivos é enviado a servidores. Seus arquivos JSONL nunca saem do seu dispositivo.

Há um limite para a quantidade de arquivos que posso mesclar?

Não há um limite fixo para o número de arquivos. Você pode adicionar quantos arquivos JSONL precisar. Porém, como todos os arquivos são carregados na memória do navegador, o processamento de datasets que somam várias centenas de MB pode ser mais lento, dependendo do seu dispositivo.

Como funciona a deduplicação?

A deduplicação compara o conteúdo completo de cada linha, desconsiderando os espaços em branco no início e no fim. Se duas linhas forem idênticas (mesmos caracteres, na mesma ordem), a segunda ocorrência será removida. A comparação é exata: linhas com os mesmos dados, mas com as chaves em outra ordem ou com espaçamento diferente, são tratadas como distintas.

Posso controlar a ordem em que os arquivos são mesclados?

Sim. Depois de carregar os arquivos, use os botões de seta para cima e para baixo ao lado de cada arquivo para ajustar a ordem. O resultado da mesclagem segue a ordem da lista, de cima para baixo.

O que acontece com as linhas vazias dos arquivos de entrada?

Linhas vazias ou que contêm apenas espaços em branco são removidas automaticamente durante a leitura dos arquivos e não aparecem no resultado da mesclagem. Isso segue a especificação JSONL, que ignora linhas em branco.

Posso mesclar arquivos com esquemas JSON diferentes?

Sim. O mesclador combina os arquivos mesmo que os schemas sejam diferentes. Cada linha é preservada exatamente como está. Se você precisar de schemas consistentes, valide ou transforme cada arquivo antes de mesclar.

A mesclagem preserva a ordem original das linhas dentro de cada arquivo?

Sim. As linhas de cada arquivo mantêm a ordem original. Os arquivos são concatenados na ordem exibida na lista, que você pode ajustar antes de mesclar.

Qual é a diferença entre usar esta ferramenta e concatenar os arquivos manualmente?

Esta ferramenta oferece uma interface visual para carregar arquivos arrastando e soltando, alterar a ordem dos arquivos, remover duplicatas e validar o JSON, além de estatísticas de contagem de linhas e pré-visualização instantânea. Ao contrário da concatenação manual com os comandos cat ou copy, ela trata automaticamente casos especiais, como quebras de linha no fim dos arquivos e linhas vazias.

Ferramentas e guias relacionados