JSONL マージャー

cat file1.jsonl file2.jsonl でデータが壊れる理由

JSONL の結合には単純な連結が適しているように見えます。実際、いずれかのファイルの末尾に改行がない場合を除けば動作します。改行がないと、前のファイルの最終レコードと次のファイルの先頭レコードが結合され、1 つの無効な行になります。

# file1.jsonl の末尾には改行がない：
{"id": 1}
{"id": 2}⏎missing

# file2.jsonl：
{"id": 3}

# cat file1.jsonl file2.jsonl の出力：
{"id": 1}
{"id": 2}{"id": 3}   ← one broken line: parse error, two records lost

このツールは各入力の最終バイトを確認し、結合前に不足している改行を挿入します。入力の保存方法にかかわらず、結合後の出力は常に有効です。パイプラインで cat を使う必要がある場合は、防御的な形式として awk 1 file1.jsonl file2.jsonl を使用できます（awk は各行の末尾に改行を付け直します）。

JSONL ファイルのマージ方法

複数のJSONLファイルをアップロードエリアにドラッグ＆ドロップします。各ファイルはブラウザ内で完全に読み取られ、データがサーバーに送信されることはありません。.jsonl、.ndjson、.json、.txt形式のファイルに対応しています。

アップロード後、上下矢印を使用してファイルの順序を変更し、マージ順序を制御できます。重複排除を有効にするとコンテンツ全体に基づいて重複行を削除し、JSON検証を有効にすると有効なJSONでない行をスキップします。

マージされた出力はプレビューパネルに最初の100行が表示されます。完全なマージファイルを.jsonlファイルとしてダウンロードするか、クリップボードにコピーできます。統計には合計行数、ファイルサイズ、削除された重複や無効な行が表示されます。

結合の厳密な動作

順序

ファイルは追加した順序で連結され、各ファイル内のレコード順も保持されます。結合は追記のみで、レコードの並べ替え、書き換え、再整形は行われません。

境界の修復

入力の末尾に改行がない場合は自動的に修正されます（上記の例を参照）。一部の利用側では拒否されるため、レコード間の空行は削除されます。

重複排除：行の完全一致

任意で有効にできます。2 つのレコードは、元の行がバイト単位で完全に一致する場合のみ重複と見なされます。{"a":1,"b":2} と {"b":2,"a":1} は、JSON 値として等しくてもキー順によって行が異なるため、重複排除されません。値単位で重複を排除する場合は、先にフォーマッターのキー並べ替えオプションで正規化してください。

分割ツールとの往復変換

結合は分割の正確な逆操作です。ファイルを N 個のチャンクに分割し、順番どおりに結合し直すと、結果は元ファイルとバイト単位で一致します（重複排除が無効の場合）。この特性により、「分割 → 並列処理 → 結合」は安全なパイプラインパターンになります。

JSONLマージとは？

JSONLマージは、複数のJSONL（JSON Lines）ファイルを1つのファイルに結合するプロセスです。各入力ファイルには1行に1つのJSONオブジェクトが含まれ、マージャーは指定した順序ですべてのファイルのすべての行を1つの出力ファイルに連結します。

トレーニングデータシャード、日次ログエクスポート、チャンク化されたAPIレスポンスなど、複数のファイルに分割されたデータセットを扱う場合に不可欠です。マージにより、処理、分析、または単一のJSONL入力を期待するプラットフォームへのアップロードが容易になります。

よくあるエラーと解決策

よくある質問