JSONL と NDJSON の違いは?
JSONL(JSON Lines)と NDJSON(Newline Delimited JSON)を詳しく比較します。ほぼ同じデータ形式を指す 2 つの呼び名ですが、知っておきたい細かな違いがあります。
JSONL と NDJSON の比較早見表
| 比較項目 | JSONL(JSON Lines) | NDJSON |
|---|---|---|
| 正式名称 | JSON Lines | Newline Delimited JSON |
| ファイル拡張子 | .jsonl | .ndjson |
| 仕様 | jsonlines.org(非公式) | github.com/ndjson/ndjson-spec(非公式仕様) |
| 成り立ち | コミュニティの慣習として生まれ、データサイエンスツールを通じて普及 | Chris Olah、Thorsten Ball らが提案 |
| 行区切り文字 | \n(改行) | \n(改行) |
| MIME タイプ | application/jsonl(非公式) | application/x-ndjson |
| ストリーミング対応 | 対応(行単位) | 対応(行単位) |
| 採用状況 | OpenAI、Hugging Face、ML/AI エコシステム | Elasticsearch、Apache Spark、データエンジニアリング |
JSONL(JSON Lines)とは?
JSONL は JSON Lines の略で、各行に単一の有効な JSON 値を記述するテキスト形式のデータフォーマットです。各行は改行文字(\n)で区切ります。機械学習やデータサイエンスのコミュニティで普及した形式で、jsonlines.org に非公式の仕様が公開されています。
JSONL ファイルの拡張子は .jsonl です。AI/ML の学習データでは標準的な形式となっており、OpenAI のファインチューニングには .jsonl ファイルが必須です。Hugging Face のデータセットでも JSON Lines 形式がよく使われています。
{"id": 1, "text": "Hello world", "label": "greeting"}
{"id": 2, "text": "How are you?", "label": "question"}
{"id": 3, "text": "Goodbye", "label": "farewell"}NDJSON(Newline Delimited JSON)とは?
NDJSON は Newline Delimited JSON の略で、各行に単一の有効な JSON 値を記述し、各行を改行文字で区切るデータ形式です。改行区切りの JSON データに、より明確な標準を設けるために仕様がまとめられ、github.com/ndjson/ndjson-spec で公開されています。
NDJSON ファイルの拡張子は .ndjson で、登録済みの MIME タイプは application/x-ndjson です。データエンジニアリングやログ処理、ストリーミングアプリケーションで広く採用されており、Elasticsearch、Apache Spark、多くの HTTP ストリーミング API で使われています。
{"id": 1, "text": "Hello world", "label": "greeting"}
{"id": 2, "text": "How are you?", "label": "question"}
{"id": 3, "text": "Goodbye", "label": "farewell"}JSONL と NDJSON は同じデータ形式ですか?
実用上は同じです。JSONL と NDJSON は、データ形式として同じように扱えます。どちらも 1 行に 1 つの JSON 値を格納し、改行文字(\n)で区切ります。同じデータを格納した .jsonl ファイルと .ndjson ファイルは完全に互換性があり、一方を読み込めるツールなら、もう一方も読み込めます。
違うのは呼び名、採用しているコミュニティ、メタデータの慣習だけです。JSONL(JSON Lines)はデータサイエンスや機械学習のコミュニティから生まれ、NDJSON(Newline Delimited JSON)はデータエンジニアリングや Web ストリーミングのコミュニティで仕様が整えられました。英語で映画を「movie」と呼ぶか「film」と呼ぶかの違いと考えるとわかりやすいでしょう。指すものは同じで、分野によって好まれる呼び名が異なります。
実用上、特に違いが出るのはファイル拡張子(.jsonl と .ndjson)と MIME タイプです。NDJSON の MIME タイプ(application/x-ndjson)は広く認知されており、HTTP ストリーミングで使われています。一方、AI/ML のワークフローでは JSONL ファイルが標準です。どちらを使うかは、利用するエコシステムの慣習に合わせてください。
JSONL と NDJSON の主な違い
1. 仕様とその位置づけ
jsonlines.org に、簡潔な非公式の仕様が公開されています。内容はシンプルで、各行に有効な JSON 値を記述し、行を '\n' で区切ります。文字エンコーディングには UTF-8 が推奨されています。
github.com/ndjson/ndjson-spec に、JSONL よりもやや厳密な仕様が公開されています。各行が有効な JSON 値であること、行区切り文字が '\n'('\r\n' ではない)であることが明示的に求められています。また、末尾に改行を入れることが推奨されています。
2. ファイル拡張子
拡張子は .jsonl です。OpenAI のファインチューニング用ファイルや Hugging Face のデータセット、多くの ML/AI ツールで標準的に使われています。GitHub と VS Code は .jsonl ファイルを認識し、シンタックスハイライトを表示します。
拡張子は .ndjson です。データエンジニアリングツールや Elasticsearch の Bulk API、HTTP のストリーミングレスポンスでよく使われています。多くのエディタが .ndjson ファイルのシンタックスハイライトに対応しています。
3. MIME タイプ
正式に登録された MIME タイプはありません。非公式の MIME タイプとしては application/jsonl や application/json-lines がよく使われます。実際には、多くのシステムが application/jsonl を使い、それに対応していない場合は application/json を使います。
MIME タイプは application/x-ndjson です。HTTP ではこちらの方が広く認知されており、Elasticsearch、Fetch API のストリーミング標準、各種 Web フレームワークのストリーミングレスポンスで使われています。
4. コミュニティやエコシステムでの採用状況
AI/ML のエコシステムでは JSONL が主流です。OpenAI、Anthropic、Google Gemini、Hugging Face、そして大半の ML フレームワークが .jsonl を使っています。開発者コミュニティ全体でも、「JSONL」の方が検索されることが多く、広く知られています。
データエンジニアリングやバックエンドシステムでは NDJSON がよく使われます。Elasticsearch、Apache Spark、PostgreSQL COPY、多くのログ集約ツールが採用しています。npm の ndjson パッケージは、毎週数百万回ダウンロードされています。
JSONL と NDJSON の使い分け
- OpenAI や Anthropic などで LLM のファインチューニング用学習データを準備する場合
- Hugging Face のデータセットを扱う場合
- ML パイプラインやデータの前処理を実装する場合
- チームやドキュメントで「JSON Lines」という呼び名を使っている場合
- 拡張子 .jsonl を指定する AI/ML プラットフォームにファイルをアップロードする場合
- Python のデータサイエンス環境で作業する場合
- HTTP 経由で JSON データをストリーミング配信する場合(Server-Sent Events、fetch ストリーミング)
- Elasticsearch の Bulk API を使う場合
- Apache Spark などのツールでデータパイプラインを構築する場合
- Content-Type ヘッダーに application/x-ndjson を設定する場合
- 既存のインフラやチームで NDJSON を使う慣習がある場合
- Node.js のストリーミングライブラリを使う場合
コード例:JSONL と NDJSON の読み込み
# JSONL の読み込み - NDJSON の読み込みと完全に同じ
import json
with open('data.jsonl', 'r') as f:
for line in f:
record = json.loads(line.strip())
print(record['text'])
# 出力:
# Hello world
# How are you?
# Goodbye// NDJSON の読み込み - JSONL の読み込みと完全に同じ
import { createReadStream } from 'fs';
import { createInterface } from 'readline';
const rl = createInterface({
input: createReadStream('data.ndjson')
});
for await (const line of rl) {
const record = JSON.parse(line);
console.log(record.text);
}
// 出力:
// Hello world
// How are you?
// GoodbyeJSONL / NDJSON ファイルを検証
.jsonl や .ndjson ファイルの形式が正しいか確認できます。無料のバリデーターで、各行の JSON 構文をチェックします。
NDJSON の仕様、MIME タイプ、Python と Node.js での読み書き、ストリーミング HTTP API、関連ツール、JSONL との関係まで、幅広く解説します。
JSONL ファイルを 1 行ずつ検証します。構文エラーや文字エンコーディング、形式の問題をすぐに検出できます。
JSONL(JSON Lines)とは何か、通常の JSON とどう違うのかを解説します。ストリーミングデータ、ログファイル、機械学習のデータセットで選ばれる理由も紹介します。
Node.jsとPythonでJSONLデータをストリーミングする方法を学びます。SSE、WebSocket、リアルタイムログ処理をカバー。
JSON と JSONL の形式を詳しく比較します。それぞれの使いどころやメリット・デメリット、相互に変換する方法を解説します。