著者: Jerry Fan

JSONとJSONLの違いとは?

JSONとJSONL(JSON Lines)の形式や違い、それぞれの使いどころを詳しく解説します。

ひと目でわかる比較表

比較項目JSONJSONL (JSON Lines)
構造単一のオブジェクトまたは配列1行につき1つのJSONオブジェクト
拡張子.json.jsonl または .ndjson
パースファイル全体のパースが必要1行ずつパース可能
ストリーミング対応が難しい形式自体が対応
大容量ファイルの処理メモリ使用量が多いメモリ使用量を抑えられる
可読性インデントで整形可能1行1レコードのコンパクトな形式
スキーマ検証JSON Schemaに対応JSON Schemaで行ごとに検証
データの追記ファイル全体の書き換えが必要末尾に行を追加するだけ

JSONとは?

JSON(JavaScript Object Notation)は、人にも読み書きしやすく、プログラムでもパースや生成がしやすい軽量なデータ交換形式です。JavaScriptのサブセットを基にしており、Webでのデータ交換における事実上の標準となっています。

JSONファイルには、通常はオブジェクトや配列といった、単一のJSON値を格納します。中のデータにアクセスするには、ファイル全体をひとまとまりとしてパースする必要があります。

JSONの例
[
  {"name": "Alice", "age": 30, "city": "New York"},
  {"name": "Bob", "age": 25, "city": "London"},
  {"name": "Charlie", "age": 35, "city": "Tokyo"}
]

JSONL(JSON Lines)とは?

JSONL(JSON Lines)は、Newline Delimited JSON(NDJSON)とも呼ばれるテキスト形式で、各行に有効なJSONオブジェクトを記述します。行の区切りには改行文字(\n)を使います。通常のJSONとは異なり、データ全体を配列やオブジェクトで囲みません。

JSONLファイルは各行でデータが完結しているため、1行ずつ独立してパースできます。そのため、ストリーミングデータやログファイルの処理、大規模なデータセットをすべてメモリに読み込まずに処理する用途に適しています。

JSONLの例
{"name": "Alice", "age": 30, "city": "New York"}
{"name": "Bob", "age": 25, "city": "London"}
{"name": "Charlie", "age": 35, "city": "Tokyo"}

JSONとJSONLの主な違い

1. ファイル形式と構造

JSON

JSONはすべてのデータを単一のオブジェクトまたは配列で囲みます。ファイル全体が構文的に正しい必要があります。

JSONL

JSONLでは、1行につき1つのJSONオブジェクトを格納します。各行が独立しているため、ある行にエラーがあっても、他の行はパースできます。

2. パースとメモリ使用量

JSON

JSONでは、ファイル全体を一度に読み込んでパースする必要があります。1GBのJSONファイルをパースするには、およそ1GB以上のメモリが必要です。

JSONL

JSONLは、1行ずつ読み込んでパースできます(ストリーミング)。10GBのJSONLファイルでも、1行ずつ読み込めば、わずかなメモリで処理できます。

3. ストリーミングとリアルタイムデータ

JSON

JSONはストリーミング向けに設計されていません。ファイルやレスポンスの全体を受信し、パースが完了するまで、データの処理を開始できません。

JSONL

JSONLはストリーミングに適しています。各行を受信した時点で処理できるため、リアルタイムのデータ配信やログ、Server-Sent Events(SSE)に最適です。

4. データの追記と書き込み

JSON

JSON配列にデータを追加するには、ファイル全体を読み込んでパースし、新しい要素を追加したうえで、ファイル全体を書き直す必要があります。

JSONL

JSONLファイルへの追記は、末尾に新しい行を追加するだけです。既存のデータを読み込んだり変更したりする必要はありません。追記の計算量は、JSONのO(n)に対してO(1)です。

5. 可読性

JSON

JSONはインデントを付けて整形できるため、設定ファイルやAPIレスポンスを読みやすく表示できます。

JSONL

JSONLは1行1レコードのコンパクトな形式です。人が読むことよりもプログラムでの処理に適した設計ですが、個々の行を取り出して整形表示することはできます。

JSONとJSONLの使い分け

JSONJSONが適している用途
  • 設定ファイルの読み書き
  • REST APIのリクエスト・レスポンスボディの作成
  • 小規模な構造化データの保存(10MB未満)
  • 人が読みやすく、編集しやすい形でのデータの管理
  • ネストした階層構造のデータの扱い
  • ブラウザ側でのデータ交換
JSONLJSONLが適している用途
  • 大規模なデータセットの処理(100MB以上)
  • リアルタイムでのデータストリーミング
  • ログファイルやイベントデータの書き込み
  • 機械学習モデルの学習(OpenAI、Hugging Face)
  • ETLパイプラインやデータ処理
  • 頻繁なデータの追記
  • Unixツール(grep、awk、sed)によるデータ処理

主な用途

機械学習とAI

JSONL

JSONLは、機械学習の学習データに使われる標準的な形式です。OpenAIはファインチューニング用のデータセットにJSONLを使っており、多くの機械学習フレームワークもJSONL形式での入力を想定しています。各行が1件の学習サンプルに対応します。

アプリケーションのログ

JSONL

JSONLは、サーバーログやアプリケーションのイベント、監査ログの記録に適しています。各イベントを1行に記録するため、追記やgrepでの検索、ストリーミング処理ツールでの処理が簡単です。

Web APIと設定

JSON

REST APIでは通常、リクエストとレスポンスのボディにJSONを使います。設定ファイル(.json)でもJSONを使うことで、ネストしたオブジェクトを含む設定を、構造化された読みやすい形で記述できます。

ビッグデータと分析

JSONL

データパイプラインやETL処理、分析ツールでは、大量のデータの処理にJSONLを使います。各レコードを独立して処理できるため、並列処理やMapReduce方式の処理が可能です。

コード例

JavaScriptでJSONを読み込む
// JSON読み取り - ファイル全体のロードが必要
const data = JSON.parse(fs.readFileSync('data.json', 'utf8'));


// データアクセス
data.forEach(item => {
  console.log(item.name);
});
JavaScriptでJSONLを読み込む
// JSONL読み取り - 行ごとにストリーム
import { createReadStream } from 'fs';
import { createInterface } from 'readline';


const rl = createInterface({
  input: createReadStream('data.jsonl')
});


for await (const line of rl) {
  const item = JSON.parse(line);
  console.log(item.name);
}
JSONをJSONLに変換
// JSON配列をJSONLに
const jsonArray = JSON.parse(fs.readFileSync('data.json', 'utf8'));
const jsonl = jsonArray
  .map(item => JSON.stringify(item))
  .join('\n');
fs.writeFileSync('data.jsonl', jsonl);
JSONLをJSONに変換
// JSONLをJSON配列に
const lines = fs.readFileSync('data.jsonl', 'utf8')
  .split('\n')
  .filter(line => line.trim());
const jsonArray = lines.map(line => JSON.parse(line));
fs.writeFileSync('data.json', JSON.stringify(jsonArray, null, 2));

JSONLビューアーを試す

最大1GBのJSONLファイルを、ブラウザですぐに表示・編集できます。ファイルのアップロードもユーザー登録も不要です。

よくある質問

参考資料