JSONL スプリッター

JSONL ファイルの分割方法

大きなJSONLファイルをアップロードするか、入力エリアにコンテンツを貼り付けます。ツールは任意のサイズの.jsonl、.ndjson、.json、.txtファイルを受け付けます。

分割方法を選択します：行数（例：1ファイルあたり1000行）またはファイルサイズ（例：1ファイルあたり10 MB）。スプリッターは各行を独立して処理し、すべてのJSONレコードの整合性を保持します。

分割後、各パートを個別にダウンロードするか、「ZIPで一括ダウンロード」を使用してすべてのパートを1つのアーカイブで取得できます。各出力ファイルはすぐに使用できる有効なJSONLファイルです。

OpenAI Batch API 向けのチャンクサイズ設定

2026 年時点の代表的な分割処理として、OpenAI の Batch API ではバッチ入力ファイルが 50,000 リクエストかつ 200 MB までに制限されます。両方の制限を同時に満たす必要があるため、実際のデータからチャンクサイズを計算します。

# ファイルを計測する
wc -l batch_input.jsonl        # → e.g. 120,000 requests
du -m batch_input.jsonl        # → e.g. 310 MB

# チャンクあたりの行数 = floor(min(50000, 120000 × 200/310))
#                       = floor(min(50000, 77419)) = 50000 → ただしサイズを確認：
# 50000 行 ≈ 129 MB ✓ 200 MB 未満 — したがって 50,000 行で分割
split -l 50000 batch_input.jsonl part_

# 結果：part_aa, part_ab, part_ac — 3 つの有効なバッチファイル

同じ計算は、行数と MB 数の両方に制限がある任意の出力先に適用できます。ブラウザツールでは、チャンクあたりの行数を設定すると、ダウンロード前に各チャンクの生成後サイズが表示されるため、手計算は不要です。

JSONL分割とは？

JSONL分割は、大きなJSONL（JSON Lines）ファイルを複数の小さなファイルに分割するプロセスです。各ファイルには元のレコードのサブセットが含まれます。JSONLファイルのすべての行は独立したJSONオブジェクトであるため、分割は簡単でレコードを壊すことはありません。

アップロードサイズ制限のある機械学習プラットフォーム、リクエスト数の上限があるBatch API、小さな入力ファイルでパフォーマンスが向上するデータパイプラインを使用する場合に不可欠です。分割により、コンテンツを変更することなく管理しやすいチャンクでデータを処理できます。

よくあるエラーと解決策

よくある質問