JSONL 合併器

為何 cat file1.jsonl file2.jsonl 可能損毀資料

串接看似是合併 JSONL 最直覺的方法，而只要所有檔案結尾都有換行，它確實可行。但若其中一個檔案缺少結尾換行，該檔案的最後一筆記錄就會與下一個檔案的第一筆記錄黏在一起，形成一行無效資料：

# file1.jsonl 結尾沒有換行：
{"id": 1}
{"id": 2}⏎missing

# file2.jsonl：
{"id": 3}

# cat file1.jsonl file2.jsonl 的輸出：
{"id": 1}
{"id": 2}{"id": 3}   ← one broken line: parse error, two records lost

本工具會檢查每個輸入的最後一個位元組，並在合併前補上缺少的換行；無論輸入檔案原本如何儲存，合併後的輸出都會保持有效。若您必須在管線中使用 cat，較安全的寫法是：awk 1 file1.jsonl file2.jsonl（awk 會重新為每一行加上結尾換行）。

如何合併 JSONL 檔案

選擇或拖放多個 JSONL 檔案到上傳區域。每個檔案都完全在瀏覽器中讀取 — 沒有資料會傳送到任何伺服器。檔案可以是 .jsonl、.ndjson、.json 或 .txt 格式。

上傳後，您可以使用上/下箭頭重新排序檔案以控制合併順序。啟用去重功能可根據完整行內容移除重複行，或啟用 JSON 驗證以跳過非有效 JSON 的行。

合併輸出會在預覽面板中顯示前 100 行。下載完整的合併檔案為 .jsonl 檔案，或將其複製到剪貼簿。統計資訊顯示總行數、檔案大小以及已移除的重複項或無效行。

精確的合併語意

順序

檔案會依您加入的順序串接，每個檔案內的記錄順序也會保留。合併只會附加資料；絕不會重新排序、改寫或重新格式化記錄。

邊界修復

任何輸入結尾缺少的換行都會自動補上（請參閱上方範例）。記錄之間的空白行會被移除，因為部分使用端不接受空白行。

去除重複：完全相同的行

選用功能。只有原始行的每個位元組都完全相同，兩筆記錄才會視為重複；{"a":1,"b":2} 與 {"b":2,"a":1} 不會被去除，因為即使 JSON 值相等，鍵的順序仍使兩行有所不同。若要依值去除重複，請先使用格式化工具的鍵排序選項進行正規化。

與分割工具來回轉換

合併正是分割的反向操作：將檔案分割成 N 個分塊，再依序合併，所得結果會與原始檔案逐位元組相同（關閉去除重複時）。這項特性讓「分割 → 平行處理 → 合併」成為安全的管線模式。

什麼是 JSONL 合併？

JSONL 合併是將多個 JSONL（JSON Lines）檔案合併為一個檔案的過程。每個輸入檔案每行包含一個 JSON 物件，合併器將所有檔案的所有行串接到一個輸出檔案中，同時保留您指定的順序。

在處理分散在多個檔案中的資料集時，這是必不可少的 — 例如訓練資料分片、每日日誌匯出或分塊的 API 回應。合併將它們整合為單一檔案，便於處理、分析或上傳到期望單一 JSONL 輸入的平台。

常見錯誤與解決方案

常見問題