JSONL 分割ツール
大容量の JSONL(JSON Lines)ファイルを、行数やファイルサイズを指定して小さなファイルに分割します。処理は 100% ブラウザ内で完結し、データが外部に送信されることはありません。
JSONL を入力
.jsonl ファイルをここにドロップするか、クリックして選択してください
.jsonl、.ndjson、.json、.txt に対応
分割オプション
分割結果
JSONL の内容を貼り付けるかファイルをドロップし、オプションを設定して分割してください
JSONL ファイルの分割方法
大容量の JSONL ファイルをアップロードするか、入力欄に内容を貼り付けます。.jsonl、.ndjson、.json、.txt ファイルに対応しており、ファイルサイズに制限はありません。
行数(例:1 ファイルあたり 1000 行)またはファイルサイズ(例:1 ファイルあたり 10 MB)を指定して分割します。各行を個別に処理するため、JSON レコードが途中で切れることはありません。
分割後は各パートを個別にダウンロードできます。「ZIP で一括ダウンロード」を使えば、すべてのパートを 1 つのアーカイブにまとめて取得できます。出力される各ファイルは有効な JSONL ファイルなので、そのまま利用できます。
行数で分割、サイズで分割 — split -b だけでは不十分な理由
JSONL 分割ツールを使う最大の利点は、レコードを途中で切らないことが保証される点です。単純なバイト単位の分割では、この保証はありません。3 つの方法を比較します。
| 方法 | 保証されること | 適した用途 |
|---|---|---|
| 行数で分割(このツール) | 各チャンクに完全なレコードがちょうど N 件入る | レコード単位で課金や件数制限がある処理:API のバッチ処理、テスト用サンプル |
| 目標サイズを指定して行単位で分割(このツール) | サイズ上限に近いチャンクを作成し、改行位置でのみ分割する | MB 単位のアップロード制限への対応:各パートは有効な JSONL のまま |
| 単純なバイト単位での分割 — split -b 100M | 保証なし。ほぼ確実にレコードのバイト列を途中で切ってしまう | JSONL には使用しないでください。通常、先頭以外のチャンクはレコードの途中から始まります |
OpenAI Batch API に合わせたチャンクサイズの決め方
2026 年の代表的な分割用途が、OpenAI Batch API 向けの入力ファイル作成です。1 つのバッチ入力ファイルには、50,000 リクエストと 200 MB という上限があります。両方を同時に満たす必要があるため、実際のデータをもとにチャンクサイズを計算します。
# ファイルを計測する
wc -l batch_input.jsonl # → e.g. 120,000 requests
du -m batch_input.jsonl # → e.g. 310 MB
# チャンクあたりの行数 = floor(min(50000, 120000 × 200/310))
# = floor(min(50000, 77419)) = 50000 → ただしサイズを確認:
# 50000 行 ≈ 129 MB ✓ 200 MB 未満 — したがって 50,000 行で分割
split -l 50000 batch_input.jsonl part_
# 結果:part_aa, part_ab, part_ac — 3 つの有効なバッチファイル行数と MB 数の両方に制限がある出力先なら、同じ計算を使えます。ブラウザ版ツールでは、1 チャンクあたりの行数を指定すると、ダウンロード前に分割後の各チャンクのサイズが表示されるため、自分で計算する必要はありません。
JSONL ファイルの分割とは?
JSONL ファイルの分割とは、大容量の JSONL(JSON Lines)ファイルを複数の小さなファイルに分けることです。各ファイルには元のレコードの一部が入ります。JSONL では各行が独立した JSON オブジェクトになっているため、簡単に分割でき、レコードが壊れることもありません。
アップロードサイズに制限のある機械学習プラットフォームや、1 リクエストで受け付けるレコード数に上限のあるバッチ API、小さな入力ファイルのほうが効率よく処理できるデータパイプラインでは、ファイルの分割が欠かせません。内容を変更せずに、扱いやすい単位でデータを処理できます。
主な用途
- OpenAI Batch API の制限への対応
- 大容量の JSONL ファイルを分割し、OpenAI Batch API の制限(1 ファイルあたり 100 MB、1 バッチあたり 50,000 リクエスト)に収めます。
- 機械学習用データの分割
- 大規模な学習用データセットを訓練用・検証用・テスト用に分けたり、分散学習用に同じサイズのチャンクに分割したりできます。
- 並列処理
- JSONL ファイルをチャンクに分割し、複数のワーカーやスレッド、サーバーレス関数で並列処理できるようにします。
- アップロードサイズの制限への対応
- エクスポートした大容量の JSONL データを、各プラットフォームのアップロード制限に収まる小さなファイルに分割します(AWS S3 のマルチパートアップロード、GitHub、メール添付など)。
- データの段階的な読み込み
- 大規模なデータセットを小さなバッチに分割し、データベースやデータウェアハウスに段階的に読み込むことで、タイムアウトを防ぎます。
- Git で管理しやすいファイルに分割
- 巨大な JSONL データファイルを小さなパートに分割し、Git でのバージョン管理時に大容量ファイルの警告を回避するとともに、差分を読みやすくします。
よくあるエラーと対処法
分割すると空のファイルができる
1 ファイルあたりの行数が元のファイルの総行数を超えていると、この問題が起きることがあります。1 ファイルあたりの行数を減らすか、ファイルサイズを指定して分割してください。
サイズを指定して分割しても、各パートのサイズがそろわない
サイズを指定して分割する場合も、レコードの途中で行を切ることはないため、最後のパートは指定したサイズより小さくなることがあります。各ファイルには、必ず完全な JSON の行だけが含まれます。
非常に大きなファイルを処理するとブラウザが重くなる
500 MB を超えるファイルでは、処理中にブラウザの動作が遅くなることがあります。非常に大きなデータセットは、「split」や「wc -l」などのコマンドラインツールを使って分割することを検討し、その後でこのツールを使って検証してください。
よくある質問
分割時のデータは安全に扱われますか?
はい。分割処理はすべて JavaScript を使ってブラウザ内で実行されます。サーバーにデータが送信されることはなく、JSONL の内容が端末の外に出ることもありません。
ファイルサイズに上限はありますか?
固定の上限はありません。数百 MB のファイルも処理できますが、処理性能はブラウザや端末のメモリ容量によって変わります。
分割後もレコードの順序は保持されますか?
はい。レコードは先頭から順に分割されます。最初のファイルには先頭の N 行、2 番目のファイルには次の N 行という順に格納されます。レコードの順序が変わったり、重複したりすることはありません。
行数とファイルサイズの両方を条件にして分割できますか?
現在、一度に選択できる分割方法は 1 つです。両方の制約を満たす必要がある場合は、先に厳しいほうの制約に合わせて分割し、出力されたファイルが両方の要件を満たしているか確認してください。
JSONL ファイル内の空行はどのように処理されますか?
空行は分割後も保持されます。JSONL ファイルのレコード間に空行があれば、出力ファイルでも元の位置に残ります。空行を削除したい場合は、分割前に当サイトの JSONL Validator を使って取り除いてください。
分割したファイルを再び結合できますか?
はい。分割した各ファイルは有効な JSONL ファイルなので、連結すれば元のファイルを復元できます。コマンドラインでは「cat part_*.jsonl > merged.jsonl」を実行します。当サイトの JSONL ツールを使って結合することもできます。
分割後のファイルには、どのような名前が付けられますか?
分割したファイルには、パート番号を連番で付けた名前が付きます(例:part_001.jsonl、part_002.jsonl)。ZIP でダウンロードすると、すべてのパートが 1 つのアーカイブにまとめられます。
ファイルサイズを指定した分割は、内部でどのように処理されますか?
指定したサイズに達するまで行を追加し、そこで現在のファイルを閉じて、次の行から新しいファイルを作成します。行を途中で切って別々のファイルに分けることはないため、各パートのサイズは指定値を多少上回ったり下回ったりすることがあります。
関連ツールとガイド
複数の JSONL ファイルを 1 つにまとめられます。JSON Lines ファイルの結合、重複排除、検証により、データセットを統合できます。
OpenAI Batch API 向けの JSONL ファイルの構造を解説します。リクエスト形式、レスポンスのパース、一連のワークフローをコード例とともに紹介します。
ギガバイト規模の JSONL データを処理する方法を紹介します。ストリーミングでの読み込み、メモリ管理、ファイル分割、圧縮、オンラインツールを取り上げます。
JSONL ファイルを 1 行ずつ検証します。構文エラーや文字エンコーディング、形式の問題をすぐに検出できます。
.jsonl や .ndjson ファイルを、エディタ内で高速に操作・検索できるテーブルとして開けます。スクロールして確認するには大きすぎるファイルや、書き込みが続いているログを扱うための拡張機能です。