JSONL バリデーター
JSONL(JSON Lines)ファイルをすぐに検証できます。すべての行で JSON の構文が正しいかをチェックします。100% クライアントサイドで処理するため、データがブラウザの外に送信されることはありません。
検証する JSONL
.jsonl ファイルをここにドロップするか、クリックして選択してください
.jsonl、.ndjson、.json、.txt に対応
検証結果
JSONL を貼り付けるか、ドロップして検証してください
エラー早見表:原因と修正方法
JSONL ファイルの検証に失敗する原因は、ほとんどの場合、次の 6 つのいずれかです。この表では、表示されるエラーに対して、バイト単位で見た実際の原因と最も手早い修正方法を示します。RFC 8259 では、JSON のこれらの規則が厳密に定められています。JSONL には、さらに「1 行に 1 レコード」という規則が加わります。
| エラーのある行の例 | 原因 | 修正方法 |
|---|---|---|
| {"a": 1,} | 末尾にカンマがあります。JavaScript では有効ですが、JSON では無効です。 | } または ] の直前のカンマを削除します。 |
| {'a': 1} | シングルクォートが使われています。JSON の文字列にはダブルクォートが必要です。 | キーと文字列値を囲む ' を " に置き換えます。 |
| {"note": "line one | 文字列内にエスケープされていない改行があり、レコードが複数行に分かれています。 | 改行を \n としてエスケープし、レコードを 1 行に収めます。 |
| {"a": 1} | 先頭のレコードに UTF-8 BOM が付いています。 | BOM なしで保存するか、先頭の 3 バイトを削除します。 |
| {"a": 1} {"b": 2} | 1 行に 2 つのレコードがあり、パーサーが後半を不要なデータとして扱います。 | レコードごとに行を分けます。 |
| (空行) | 厳密にはレコードではありません。パーサーによって、エラーになる場合とスキップされる場合があります。 | 空行を削除するか、読み込み側で空行をスキップするように設定します。 |
JSONL ファイルの検証方法
JSONL の検証では、ファイルの各行が正しい JSON になっているかを確認します。各行には、それ単体でパースできる完全な JSON 値(通常は JSON オブジェクト)を記述する必要があります。
このバリデーターは、JSONL ファイルの読み取りをすべてブラウザ内で行います。データがサーバーにアップロードされることはありません。JSONL テキストを貼り付けるか、ファイルをドラッグ&ドロップするだけで、検証結果がすぐに表示されます。
エラーのある行はハイライトされ、行番号と具体的なエラーメッセージが表示されます。検証レポートをコピーしてチームで共有したり、問題の修正に役立てたりできます。
OpenAI ファインチューニング用ファイルの検証
いずれかの行が OpenAI のチャット形式に準拠していないと、ファインチューニング用ファイルのアップロードに失敗します。上の検証形式を「OpenAI ファインチューニング形式」に切り替えると、アップロード前に問題のある行をすべて確認できます。各行で次の項目をチェックします。
- "messages" 配列が存在し、空ではないこと
- すべてのメッセージに system、user、assistant、tool のいずれかのロールが指定されていること
- content が文字列またはコンテンツパーツのリストで指定されていること(ツール呼び出しのみを行う assistant のメッセージでは省略できます)
- モデルの学習対象となる assistant のメッセージが少なくとも1つ含まれていること
- "weight" を使用する場合は値が 0 または 1 であり、assistant のメッセージでのみ使用されていること
- 別の設定が必要な旧形式の prompt/completion や選好学習用(DPO)形式の行がないか
学習サンプル数とメッセージ数も集計し、OpenAI が必要とする10件の学習サンプルに満たない場合は警告を表示します。また、学習規模の目安となる推定トークン数も確認できます。形式の詳細は、OpenAI JSONL 形式ガイドをご覧ください。
よくあるエラーと対処方法
JSON オブジェクトの末尾にカンマがある
JSON オブジェクトの最後のキーと値のペアの後ろにカンマがあると(例:{"name":"Alice",})、正しい JSON として扱われません。このよくある構文エラーは、各行の最後のプロパティの後ろにあるカンマを削除すれば修正できます。
プロパティのキーが引用符で囲まれていない
JSON では、すべてのプロパティのキーをダブルクォートで囲む必要があります。{name:"Alice"} のようにキーが引用符で囲まれていないと、検証に失敗します。{"name":"Alice"} のように、すべてのキーをダブルクォートで囲んでください。
文字列内のエスケープシーケンスが不正
JSON で使えるエスケープシーケンスは、\n、\t、\"、\\ などに限られます。\x や \' などの無効なシーケンスはパースエラーの原因になります。JSON で有効なエスケープシーケンスを使うか、特殊文字を Unicode(\uXXXX)でエンコードしてください。
CI やコマンドラインでの検証
パイプラインを実行する前に、これらのコマンドで各行に JSON 値が 1 つずつ含まれていることを確認できます。1 行ずつ読み込むため、メモリ使用量はファイル全体ではなく、最大のレコードに左右されます。空行はエラーとなりますが、最終行の改行文字は省略できます。
# jq: parse each line and stop on the first error; empty needs no -e
jq -R 'try (
if startswith("\uFEFF") then error("UTF-8 BOM is not allowed")
else fromjson end | empty
) catch halt_error(1)' data.jsonl && echo OK
# Python: reject non-standard constants and report the first broken line
python3 - <<'PYTHON'
import json
import sys
def reject_constant(value):
raise ValueError(f"Invalid JSON constant: {value}")
with open("data.jsonl", "r", encoding="utf-8") as source:
for line_number, line in enumerate(source, 1):
try:
json.loads(line, parse_constant=reject_constant)
except ValueError as error:
sys.exit(f"Line {line_number}: {error}")
print("OK")
PYTHONこれらのチェックでは、必須フィールド、フィールドの型、OpenAI の学習データに関するルールは検証しません。それらにはスキーマ検証を使用してください。jq は NaN や Infinity など、一部の非標準の数値リテラルを受け入れます。それらをエラーにする必要がある場合は、Python の例を使用してください。
JSONL の検証とは?
JSONL の検証とは、JSONL ファイルの各行が構文上正しい JSON になっているかを確認することです。機械学習モデルの学習、API のバッチ処理、データパイプラインでの処理に JSONL ファイルを使う前に欠かせない確認です。
よく検出される問題には、カンマの過不足、引用符で囲まれていないキー、末尾のカンマ、括弧の対応の不備、不正なエスケープシーケンス、BOM 文字などに起因するエンコーディングの問題があります。
主な用途
- データ品質の確保
- エクスポートした JSONL をデータベースや分析プラットフォームにインポートする前に検証し、データの破損を防ぎます。
- 機械学習用データセットの検証
- OpenAI のファインチューニング用データセットや Hugging Face の学習データをアップロードする前に、形式が正しいかを確認します。
- データパイプラインのデバッグ
- JSONL 形式のログファイルやストリーミングデータの出力から、形式が不正な行を特定します。
- アップロード前の確認
- 形式への厳密な準拠を求める API にアップロードする前に、JSONL ファイルを検証します。
- CI/CD パイプラインでの検証
- CI/CD パイプラインのステップに JSONL の検証を組み込み、形式が不正なデータファイルを本番環境に投入する前に検出します。
- スキーマの一貫性の確認
- JSONL ファイルのすべての行を正しくパースできるかを検証し、各レコードのスキーマ構造が統一されているかを目視で確認します。
よくある質問
JSONL の検証では何をチェックしますか?
ファイル内の空行以外の各行が、構文上正しい JSON になっているかを確認します。括弧の対応、文字列を囲む引用符、エスケープシーケンスが正しいか、また JSON 全体の構造に問題がないかを検証します。
検証時のデータは安全に扱われますか?
はい。検証はすべてブラウザ内でローカルに行われます。データがサーバーに送信されることはありません。JSONL の内容がデバイスの外に出ることもありません。
大容量の JSONL ファイルも検証できますか?
はい。各行を個別に処理するため、大きなファイルにも対応できます。非常に大きなファイル(100MB以上)では、検証に数秒かかる場合があります。
検証でエラーが出た場合はどうすればよいですか?
エラーのある各行の詳細を確認してください。よくある修正としては、不足している引用符の追加、末尾のカンマの削除、括弧の対応の修正などがあります。JSONL フォーマッターを使って、書式の問題を見つけることもできます。
行ごとのスキーマが一致しているかもチェックされますか?
このバリデーターがチェックするのは JSON の構文のみで、スキーマの一貫性は確認しません。各行を個別に検証し、正しい JSON になっているかを確認します。スキーマを検証するには、構文チェックに加えて JSON Schema バリデーターが必要です。
NDJSON や、拡張子が異なる JSON Lines ファイルも検証できますか?
はい。.jsonl、.ndjson、.json、.txt の拡張子に対応しています。拡張子にかかわらず内容は同じように扱われ、空行以外の各行が JSON として検証されます。
空行や空白だけの行は、検証時にどのように扱われますか?
空行や空白のみの行は、検証時に自動でスキップされます。エラーとしてカウントされず、検証レポートにも表示されません。これは JSONL の仕様に沿った動作です。
このツールで不正な JSONL を自動修正できますか?
このバリデーターはエラーを特定して報告しますが、自動修正は行いません。自動修正によって、データが意図しない内容に変わる可能性があるためです。エラーの詳細を参考に問題を手動で修正し、再度検証してすべての行が検証に通ることを確認してください。
関連ツールとガイド
JSONL ファイルに適切なインデントを付けて、読みやすく整形できます。デバッグやデータのレビューがしやすくなります。
OpenAI 向けの JSONL ファイルの準備方法をまとめた完全ガイドです。ファインチューニングのデータ形式、Batch API のリクエスト、よくある間違い、検証のコツを解説します。
JSON Schemaを使用してJSONLファイルを検証する方法を学びます。Python、Node.js、CLIツール、CI/CD自動化をカバー。
OpenAI Batch API 向けの JSONL ファイルの構造を解説します。リクエスト形式、レスポンスのパース、一連のワークフローをコード例とともに紹介します。
大容量の JSONL ファイルを、行数やファイルサイズに応じて小さく分割できます。バッチ API の制限に合わせた分割や、並列処理に適しています。