Fusionador JSONL

Por qué cat file1.jsonl file2.jsonl puede corromper tus datos

La concatenación parece la forma obvia de fusionar JSONL — y funciona justo hasta que a un archivo le falta el salto de línea final. Entonces el último registro de un archivo y el primero del siguiente se funden en una única línea inválida:

# file1.jsonl termina SIN salto de línea final:
{"id": 1}
{"id": 2}⏎missing

# file2.jsonl:
{"id": 3}

# cat file1.jsonl file2.jsonl produce:
{"id": 1}
{"id": 2}{"id": 3}   ← una línea rota: error de parseo, dos registros perdidos

Esta herramienta comprueba el byte final de cada entrada e inserta el salto de línea que falta antes de unir — la salida fusionada siempre es válida, sin importar cómo se guardaron las entradas. Si tienes que usar cat en un pipeline, la forma defensiva es: awk 1 file1.jsonl file2.jsonl (awk re-termina cada línea).

Cómo fusionar archivos JSONL

Selecciona o arrastra y suelta múltiples archivos JSONL en el área de subida. Cada archivo se lee completamente en tu navegador — no se envían datos a ningún servidor. Los archivos pueden estar en formato .jsonl, .ndjson, .json o .txt.

Una vez subidos, puedes reordenar los archivos usando las flechas arriba/abajo para controlar el orden de fusión. Activa la deduplicación para eliminar líneas duplicadas basándose en su contenido completo, o activa la validación JSON para omitir líneas que no sean JSON válido.

La salida fusionada aparece en el panel de vista previa mostrando las primeras 100 líneas. Descarga el archivo fusionado completo como un archivo .jsonl o cópialo a tu portapapeles. Las estadísticas muestran el conteo total de líneas, tamaño del archivo y cualquier duplicado o línea inválida eliminada.

Semántica de la fusión, con precisión

Orden

Los archivos se concatenan en el orden en que los añades, y el orden de los registros dentro de cada archivo se preserva. La fusión es solo de anexado — los registros nunca se reordenan, reescriben ni reformatean.

Reparación de fronteras

Un salto de línea final ausente al término de cualquier entrada se corrige automáticamente (ver el ejemplo de arriba). Las líneas en blanco entre registros se descartan, ya que algunos consumidores las rechazan.

Deduplicación: línea exacta

Opcional. Dos registros cuentan como duplicados solo cuando sus líneas crudas son idénticas byte a byte — {"a":1,"b":2} y {"b":2,"a":1} NO se deduplican, porque el orden de las claves hace que las líneas difieran aunque los valores JSON sean iguales. Normaliza primero con la opción de ordenar claves del formateador si necesitas deduplicación a nivel de valores.

Ida y vuelta con el divisor

Fusionar es el inverso exacto de dividir: divide un archivo en N fragmentos, fusiónalos de vuelta en orden, y el resultado es idéntico byte a byte al original (con la deduplicación desactivada). Esta propiedad hace de dividir → procesar en paralelo → fusionar un patrón de pipeline seguro.

¿Qué es la fusión de JSONL?

La fusión de JSONL es el proceso de combinar múltiples archivos JSONL (JSON Lines) en un solo archivo. Cada archivo de entrada contiene un objeto JSON por línea, y el fusionador concatena todas las líneas de todos los archivos en un archivo de salida preservando el orden que especifiques.

Esto es esencial cuando se trabaja con datasets divididos en múltiples archivos — como fragmentos de datos de entrenamiento, exportaciones diarias de logs o respuestas de API en fragmentos. La fusión los consolida en un solo archivo para un procesamiento, análisis o subida más fácil a plataformas que esperan una única entrada JSONL.

Errores comunes y soluciones

Preguntas frecuentes