JSONL 合并器

为什么 cat file1.jsonl file2.jsonl 可能会损坏数据

拼接看似是合并 JSONL 最直接的方法，而且在某个文件缺少末尾换行符之前，它确实一直有效。此时，前一个文件的最后一条记录会与后一个文件的第一条记录粘连，形成一行无效数据：

# file1.jsonl 末尾没有换行符：
{"id": 1}
{"id": 2}⏎missing

# file2.jsonl：
{"id": 3}

# cat file1.jsonl file2.jsonl 的输出：
{"id": 1}
{"id": 2}{"id": 3}   ← one broken line: parse error, two records lost

此工具会检查每个输入的最后一个字节，并在拼接前补上缺失的换行符，因此无论输入文件以何种方式保存，合并后的输出始终有效。如果必须在管道中使用 cat，稳妥的写法是：awk 1 file1.jsonl file2.jsonl（awk 会确保每一行都以换行符结束）。

如何合并 JSONL 文件

选择或拖入多个 JSONL 文件到上传区域。每个文件完全在浏览器中读取 — 不会将任何数据发送到服务器。文件可以是 .jsonl、.ndjson、.json 或 .txt 格式。

上传后，您可以使用上/下箭头重新排序文件以控制合并顺序。启用去重选项可根据完整内容删除重复行，或启用 JSON 验证以跳过无效的 JSON 行。

合并输出在预览面板中显示前 100 行。将完整的合并文件下载为 .jsonl 文件或复制到剪贴板。统计信息显示总行数、文件大小以及删除的重复项或无效行数。

精确的合并语义

顺序

文件会按添加顺序拼接，每个文件内部的记录顺序也会保留。合并仅执行追加操作，不会对记录重新排序、改写或重新格式化。

边界修复

任何输入末尾缺失的换行符都会自动补齐（参见上例）。记录之间的空行会被移除，因为某些使用方不接受空行。

去重：精确匹配行

可选。只有原始行的字节完全相同时，两条记录才会被视为重复项。{"a":1,"b":2} 和 {"b":2,"a":1} 不会被去重，因为即使 JSON 值相等，键顺序不同也会导致行内容不同。如果需要按值去重，请先使用格式化工具的键排序选项进行规范化。

与拆分工具往返转换

合并与拆分完全互逆：将文件拆分为 N 个分块，再按顺序合并，所得结果与原文件在字节层面完全相同（关闭去重时）。这一特性使“拆分 → 并行处理 → 合并”成为一种安全的管道模式。

什么是 JSONL 合并？

JSONL 合并是将多个 JSONL（JSON Lines）文件组合成单个文件的过程。每个输入文件每行包含一个 JSON 对象，合并器将所有文件的所有行连接到一个输出文件中，同时保持您指定的顺序。

当处理分散在多个文件中的数据集时，这一功能非常重要 — 例如训练数据分片、每日日志导出或分块的 API 响应。合并将它们整合为单个文件，便于处理、分析或上传到需要单个 JSONL 输入的平台。

常见错误与解决方案

常见问题