JSONとJSONLの違いとは?
JSONとJSONL(JSON Lines)の形式や違い、それぞれの使いどころを詳しく解説します。
ひと目でわかる比較表
| 比較項目 | JSON | JSONL (JSON Lines) |
|---|---|---|
| 構造 | 単一のオブジェクトまたは配列 | 1行につき1つのJSONオブジェクト |
| 拡張子 | .json | .jsonl または .ndjson |
| パース | ファイル全体のパースが必要 | 1行ずつパース可能 |
| ストリーミング | 対応が難しい | 形式自体が対応 |
| 大容量ファイルの処理 | メモリ使用量が多い | メモリ使用量を抑えられる |
| 可読性 | インデントで整形可能 | 1行1レコードのコンパクトな形式 |
| スキーマ検証 | JSON Schemaに対応 | JSON Schemaで行ごとに検証 |
| データの追記 | ファイル全体の書き換えが必要 | 末尾に行を追加するだけ |
JSONとは?
JSON(JavaScript Object Notation)は、人にも読み書きしやすく、プログラムでもパースや生成がしやすい軽量なデータ交換形式です。JavaScriptのサブセットを基にしており、Webでのデータ交換における事実上の標準となっています。
JSONファイルには、通常はオブジェクトや配列といった、単一のJSON値を格納します。中のデータにアクセスするには、ファイル全体をひとまとまりとしてパースする必要があります。
[
{"name": "Alice", "age": 30, "city": "New York"},
{"name": "Bob", "age": 25, "city": "London"},
{"name": "Charlie", "age": 35, "city": "Tokyo"}
]JSONL(JSON Lines)とは?
JSONL(JSON Lines)は、Newline Delimited JSON(NDJSON)とも呼ばれるテキスト形式で、各行に有効なJSONオブジェクトを記述します。行の区切りには改行文字(\n)を使います。通常のJSONとは異なり、データ全体を配列やオブジェクトで囲みません。
JSONLファイルは各行でデータが完結しているため、1行ずつ独立してパースできます。そのため、ストリーミングデータやログファイルの処理、大規模なデータセットをすべてメモリに読み込まずに処理する用途に適しています。
{"name": "Alice", "age": 30, "city": "New York"}
{"name": "Bob", "age": 25, "city": "London"}
{"name": "Charlie", "age": 35, "city": "Tokyo"}JSONとJSONLの主な違い
1. ファイル形式と構造
JSONはすべてのデータを単一のオブジェクトまたは配列で囲みます。ファイル全体が構文的に正しい必要があります。
JSONLでは、1行につき1つのJSONオブジェクトを格納します。各行が独立しているため、ある行にエラーがあっても、他の行はパースできます。
2. パースとメモリ使用量
JSONでは、ファイル全体を一度に読み込んでパースする必要があります。1GBのJSONファイルをパースするには、およそ1GB以上のメモリが必要です。
JSONLは、1行ずつ読み込んでパースできます(ストリーミング)。10GBのJSONLファイルでも、1行ずつ読み込めば、わずかなメモリで処理できます。
3. ストリーミングとリアルタイムデータ
JSONはストリーミング向けに設計されていません。ファイルやレスポンスの全体を受信し、パースが完了するまで、データの処理を開始できません。
JSONLはストリーミングに適しています。各行を受信した時点で処理できるため、リアルタイムのデータ配信やログ、Server-Sent Events(SSE)に最適です。
4. データの追記と書き込み
JSON配列にデータを追加するには、ファイル全体を読み込んでパースし、新しい要素を追加したうえで、ファイル全体を書き直す必要があります。
JSONLファイルへの追記は、末尾に新しい行を追加するだけです。既存のデータを読み込んだり変更したりする必要はありません。追記の計算量は、JSONのO(n)に対してO(1)です。
5. 可読性
JSONはインデントを付けて整形できるため、設定ファイルやAPIレスポンスを読みやすく表示できます。
JSONLは1行1レコードのコンパクトな形式です。人が読むことよりもプログラムでの処理に適した設計ですが、個々の行を取り出して整形表示することはできます。
JSONとJSONLの使い分け
- 設定ファイルの読み書き
- REST APIのリクエスト・レスポンスボディの作成
- 小規模な構造化データの保存(10MB未満)
- 人が読みやすく、編集しやすい形でのデータの管理
- ネストした階層構造のデータの扱い
- ブラウザ側でのデータ交換
- 大規模なデータセットの処理(100MB以上)
- リアルタイムでのデータストリーミング
- ログファイルやイベントデータの書き込み
- 機械学習モデルの学習(OpenAI、Hugging Face)
- ETLパイプラインやデータ処理
- 頻繁なデータの追記
- Unixツール(grep、awk、sed)によるデータ処理
主な用途
機械学習とAI
JSONLJSONLは、機械学習の学習データに使われる標準的な形式です。OpenAIはファインチューニング用のデータセットにJSONLを使っており、多くの機械学習フレームワークもJSONL形式での入力を想定しています。各行が1件の学習サンプルに対応します。
アプリケーションのログ
JSONLJSONLは、サーバーログやアプリケーションのイベント、監査ログの記録に適しています。各イベントを1行に記録するため、追記やgrepでの検索、ストリーミング処理ツールでの処理が簡単です。
Web APIと設定
JSONREST APIでは通常、リクエストとレスポンスのボディにJSONを使います。設定ファイル(.json)でもJSONを使うことで、ネストしたオブジェクトを含む設定を、構造化された読みやすい形で記述できます。
ビッグデータと分析
JSONLデータパイプラインやETL処理、分析ツールでは、大量のデータの処理にJSONLを使います。各レコードを独立して処理できるため、並列処理やMapReduce方式の処理が可能です。
コード例
// JSON読み取り - ファイル全体のロードが必要
const data = JSON.parse(fs.readFileSync('data.json', 'utf8'));
// データアクセス
data.forEach(item => {
console.log(item.name);
});// JSONL読み取り - 行ごとにストリーム
import { createReadStream } from 'fs';
import { createInterface } from 'readline';
const rl = createInterface({
input: createReadStream('data.jsonl')
});
for await (const line of rl) {
const item = JSON.parse(line);
console.log(item.name);
}// JSON配列をJSONLに
const jsonArray = JSON.parse(fs.readFileSync('data.json', 'utf8'));
const jsonl = jsonArray
.map(item => JSON.stringify(item))
.join('\n');
fs.writeFileSync('data.jsonl', jsonl);// JSONLをJSON配列に
const lines = fs.readFileSync('data.jsonl', 'utf8')
.split('\n')
.filter(line => line.trim());
const jsonArray = lines.map(line => JSON.parse(line));
fs.writeFileSync('data.json', JSON.stringify(jsonArray, null, 2));JSONとJSONLをオンラインで変換
無料のオンラインツールで、JSONとJSONLをすぐに相互変換できます。インストールは不要です。
JSONL ファイルを標準的な JSON 配列に変換できます。API やデータ処理パイプラインでの利用に適しています。
JSON 配列を JSONL 形式に変換できます。ストリーミングや機械学習向けのデータ準備に適しています。
JSONL(JSON Lines)とは何か、通常の JSON とどう違うのかを解説します。ストリーミングデータ、ログファイル、機械学習のデータセットで選ばれる理由も紹介します。
整形、スキーマの一貫性、エラーハンドリング、パフォーマンスの最適化、ファイル整理に関する JSONL のベストプラクティスを解説します。実践的な例を通じて、よくある落とし穴を避ける方法を学べます。
ギガバイト規模の JSONL データを処理する方法を紹介します。ストリーミングでの読み込み、メモリ管理、ファイル分割、圧縮、オンラインツールを取り上げます。