JSONL 結合ツール
複数の JSONL(JSON Lines)ファイルを 1 つに結合できます。ファイルの並べ替え、重複の削除、各行の検証に対応しています。処理は 100% クライアント側で行われ、データがブラウザの外に送信されることはありません。
入力ファイル
.jsonl ファイルをここにドロップするか、クリックして複数のファイルを選択してください
.jsonl, .ndjson, .json, .txt に対応
結合オプション
結合結果
結合する JSONL ファイルをドロップするか、選択してください
cat file1.jsonl file2.jsonl でデータが壊れる理由
JSONL を結合するなら、単純にファイルを連結すればよいと思うかもしれません。実際、ファイルの末尾に改行があれば問題なく動作します。しかし、改行がないファイルがあると、そのファイルの最後のレコードと次のファイルの最初のレコードがつながり、不正な 1 行になってしまいます。
# file1.jsonl の末尾には改行がない:
{"id": 1}
{"id": 2}⏎missing
# file2.jsonl:
{"id": 3}
# cat file1.jsonl file2.jsonl の出力:
{"id": 1}
{"id": 2}{"id": 3} ← one broken line: parse error, two records lostこのツールは各入力ファイルの最終バイトを確認し、末尾に改行がなければ補ってから連結します。そのため、入力ファイルの保存方法にかかわらず、結合結果は常に正しい形式になります。パイプラインで cat を使う必要がある場合は、この問題を避けるために awk 1 file1.jsonl file2.jsonl を使用してください(awk は各行の末尾に改行を付け直します)。
JSONL ファイルを結合するには
アップロードエリアで複数の JSONL ファイルを選択するか、ドラッグ&ドロップしてください。各ファイルの読み込みはすべてブラウザ内で行われ、サーバーにデータが送信されることはありません。.jsonl、.ndjson、.json、.txt 形式に対応しています。
アップロード後は、上下の矢印でファイルを並べ替え、結合する順序を指定できます。重複削除を有効にすると、行全体の内容に基づいて重複行が削除されます。JSON の検証を有効にすると、正しい JSON として解析できない行がスキップされます。
プレビューパネルには、結合結果の先頭 100 行が表示されます。結合した内容全体を .jsonl ファイルとしてダウンロードするか、クリップボードにコピーできます。統計では、合計行数、ファイルサイズ、削除された重複や不正な行の数を確認できます。
結合処理の詳しい仕様
- 順序
- ファイルは追加した順に連結され、各ファイル内のレコードの順序も保持されます。結合では末尾への追加だけを行い、レコードの並べ替え、書き換え、再整形は行いません。
- ファイル境界の改行補完
- 入力ファイルの末尾に改行がない場合は、自動で補います(上の例を参照)。レコード間の空行は、受け取り側のツールによってはエラーになるため削除します。
- 重複削除:行の完全一致
- 必要に応じて有効にできます。2 つのレコードを重複と判定するのは、元の行がバイト単位で完全に一致する場合だけです。{"a":1,"b":2} と {"b":2,"a":1} は、JSON の値としては等しくてもキーの順序が異なるため、重複として削除されません。値の一致に基づいて重複を削除したい場合は、先にフォーマッターのキー並べ替えオプションで正規化してください。
- 分割ツールで分割したファイルの復元
- 結合は分割の厳密な逆操作です。ファイルを N 個のチャンクに分割し、元の順序で結合し直すと、元のファイルとバイト単位で一致する結果が得られます(重複削除が無効の場合)。この性質により、「分割 → 並列処理 → 結合」というパイプラインを安全に構成できます。
JSONL ファイルの結合とは?
JSONL ファイルの結合とは、複数の JSONL(JSON Lines)ファイルを 1 つのファイルにまとめる処理です。各入力ファイルには、1 行に 1 つの JSON オブジェクトが記録されています。結合ツールは、指定された順序を保ちながら、すべてのファイルの全行を 1 つの出力ファイルに連結します。
学習データのシャード、日次でエクスポートしたログ、チャンクに分かれた API レスポンスなど、複数のファイルに分割されたデータセットを扱う際に欠かせない処理です。1 つのファイルにまとめることで、処理や分析がしやすくなり、単一の JSONL ファイルを入力として受け付けるプラットフォームにもアップロードしやすくなります。
よくあるエラーと対処法
ファイル間でレコードが重複する
収録範囲が重なる JSONL エクスポート(タイムスタンプの範囲が重なる日次ログなど)を結合すると、レコードが重複することがあります。「重複を削除」オプションを有効にすると、行の内容が完全に一致する重複を自動で削除できます。書式は異なっていてもデータの内容が同じ行を重複として扱いたい場合は、先に JSONL Formatter ですべてのファイルの書式を統一してください。
ファイルごとに文字エンコーディングが異なる
入手元によって、ファイルの文字エンコーディングが異なる場合があります(UTF-8、BOM 付き UTF-8、Windows-1252)。そのため、一部のファイルでは先頭行の JSON の解析に失敗することがあります。結合する前に、すべてのファイルが BOM なしの UTF-8 で保存されていることを確認してください。
ファイル間でスキーマが一致しない
入手元が異なる JSONL ファイルでは、キーの構造が異なることがあります。このツールはスキーマの違いにかかわらずファイルを結合できますが、後続のツールではスキーマの統一が求められる場合があります。結合結果を JSONL Validator で検証し、各行が正しい JSON であることを確認してください。
主な用途
- データセットの統合
- 複数のシャードに分かれた JSONL 形式の学習データを 1 つのファイルにまとめ、OpenAI のファインチューニングや Hugging Face などの機械学習プラットフォームにアップロードできます。
- データパイプラインの出力の統合
- 並列でデータを処理するパイプラインの出力ファイルを 1 つの JSONL ファイルにまとめ、後続の処理に渡せます。
- 機械学習用データの準備
- 複数のソースから集めたプロンプトと応答のペアを 1 つの JSONL ファイルにまとめ、モデルのファインチューニングに使える形にできます。
- ログファイルの集約
- 日単位や時間単位でエクスポートした JSONL ログを 1 つのファイルにまとめ、ログ全体を分析・検索できます。
- チームでの共同作業
- 各チームメンバーが作成した JSONL データファイルを 1 つのデータセットにまとめ、共同で分析できます。
- 分析データの結合
- 複数のサービスや期間にわたる JSONL 形式のイベントデータをまとめ、一括で分析やレポート作成に利用できます。
よくある質問
ファイルを結合するときのデータは安全に扱われますか?
はい。結合処理はすべてブラウザ内でローカルに行われます。ファイルのデータがサーバーにアップロードされることはありません。JSONL ファイルが端末の外に送信されることもありません。
結合できるファイル数に上限はありますか?
ファイル数に厳密な上限はなく、必要な数だけ JSONL ファイルを追加できます。ただし、すべてのファイルをブラウザのメモリに読み込むため、合計で数百 MB に達するような大きなデータセットでは、端末によって処理が遅くなる場合があります。
重複の削除はどのような仕組みですか?
重複排除は各行のトリムされた全コンテンツを比較します。2つの行が同一(同じ文字、同じ順序)の場合、2番目の出現が削除されます。これは完全一致の重複排除です — 同じデータでもキーの順序やスペースが異なる行は別として扱われます。
ファイルを結合する順序は指定できますか?
はい。アップロード後に、各ファイルの横にある上下の矢印ボタンで並べ替えられます。ファイルは一覧の上から下の順に結合されます。
入力ファイル内の空行はどのように処理されますか?
空行や空白文字だけの行は、ファイルの読み込み時に自動で取り除かれ、結合結果には含まれません。これは、空行を無視するという JSONL の仕様に沿った動作です。
JSON のスキーマが異なるファイルも結合できますか?
はい。このツールはスキーマの違いにかかわらずファイルを結合し、各行の内容をそのまま保持します。スキーマを統一する必要がある場合は、結合前に各ファイルを個別に検証または変換してください。
結合しても、各ファイル内の行の順序は保たれますか?
はい。各ファイル内の行は元の順序で保持されます。ファイルは一覧に表示されている順に連結されます。ファイルの順序は結合前に変更できます。
ファイルを手作業で連結するのと、どう違いますか?
このツールでは、画面上でドラッグ&ドロップによるアップロード、ファイルの並べ替え、重複削除、JSON の検証、行数の確認ができ、結果もすぐにプレビューできます。cat や copy コマンドで手作業で連結する場合とは異なり、末尾の改行や空行にまつわる特殊なケースも自動で処理します。
関連ツールとガイド
大容量の JSONL ファイルを、行数やファイルサイズに応じて小さく分割できます。バッチ API の制限に合わせた分割や、並列処理に適しています。
JSONL ファイルを 1 行ずつ検証します。構文エラーや文字エンコーディング、形式の問題をすぐに検出できます。
整形、スキーマの一貫性、エラーハンドリング、パフォーマンスの最適化、ファイル整理に関する JSONL のベストプラクティスを解説します。実践的な例を通じて、よくある落とし穴を避ける方法を学べます。
ギガバイト規模の JSONL データを処理する方法を紹介します。ストリーミングでの読み込み、メモリ管理、ファイル分割、圧縮、オンラインツールを取り上げます。
最大 1GB の JSONL ファイルを、ブラウザですぐに表示・編集できます。ストリーミング、シンタックスハイライト、リアルタイム検証に対応した無料の JSONL ファイルビューアです。アップロードもユーザー登録も不要。データはお使いのデバイス内で処理されます。