著者: Jerry Fan

JSONL と NDJSON の違いは?

JSONL(JSON Lines)と NDJSON(Newline Delimited JSON)を詳しく比較します。ほぼ同じデータ形式を指す 2 つの呼び名ですが、知っておきたい細かな違いがあります。

JSONL と NDJSON の比較早見表

比較項目JSONL(JSON Lines)NDJSON
正式名称JSON LinesNewline Delimited JSON
ファイル拡張子.jsonl.ndjson
仕様jsonlines.org(非公式)github.com/ndjson/ndjson-spec(非公式仕様)
成り立ちコミュニティの慣習として生まれ、データサイエンスツールを通じて普及Chris Olah、Thorsten Ball らが提案
行区切り文字\n(改行)\n(改行)
MIME タイプapplication/jsonl(非公式)application/x-ndjson
ストリーミング対応対応(行単位)対応(行単位)
採用状況OpenAI、Hugging Face、ML/AI エコシステムElasticsearch、Apache Spark、データエンジニアリング

JSONL(JSON Lines)とは?

JSONL は JSON Lines の略で、各行に単一の有効な JSON 値を記述するテキスト形式のデータフォーマットです。各行は改行文字(\n)で区切ります。機械学習やデータサイエンスのコミュニティで普及した形式で、jsonlines.org に非公式の仕様が公開されています。

JSONL ファイルの拡張子は .jsonl です。AI/ML の学習データでは標準的な形式となっており、OpenAI のファインチューニングには .jsonl ファイルが必須です。Hugging Face のデータセットでも JSON Lines 形式がよく使われています。

data.jsonl
{"id": 1, "text": "Hello world", "label": "greeting"}
{"id": 2, "text": "How are you?", "label": "question"}
{"id": 3, "text": "Goodbye", "label": "farewell"}

NDJSON(Newline Delimited JSON)とは?

NDJSON は Newline Delimited JSON の略で、各行に単一の有効な JSON 値を記述し、各行を改行文字で区切るデータ形式です。改行区切りの JSON データに、より明確な標準を設けるために仕様がまとめられ、github.com/ndjson/ndjson-spec で公開されています。

NDJSON ファイルの拡張子は .ndjson で、登録済みの MIME タイプは application/x-ndjson です。データエンジニアリングやログ処理、ストリーミングアプリケーションで広く採用されており、Elasticsearch、Apache Spark、多くの HTTP ストリーミング API で使われています。

data.ndjson
{"id": 1, "text": "Hello world", "label": "greeting"}
{"id": 2, "text": "How are you?", "label": "question"}
{"id": 3, "text": "Goodbye", "label": "farewell"}

JSONL と NDJSON は同じデータ形式ですか?

実用上は同じです。JSONL と NDJSON は、データ形式として同じように扱えます。どちらも 1 行に 1 つの JSON 値を格納し、改行文字(\n)で区切ります。同じデータを格納した .jsonl ファイルと .ndjson ファイルは完全に互換性があり、一方を読み込めるツールなら、もう一方も読み込めます。

違うのは呼び名、採用しているコミュニティ、メタデータの慣習だけです。JSONL(JSON Lines)はデータサイエンスや機械学習のコミュニティから生まれ、NDJSON(Newline Delimited JSON)はデータエンジニアリングや Web ストリーミングのコミュニティで仕様が整えられました。英語で映画を「movie」と呼ぶか「film」と呼ぶかの違いと考えるとわかりやすいでしょう。指すものは同じで、分野によって好まれる呼び名が異なります。

実用上、特に違いが出るのはファイル拡張子(.jsonl と .ndjson)と MIME タイプです。NDJSON の MIME タイプ(application/x-ndjson)は広く認知されており、HTTP ストリーミングで使われています。一方、AI/ML のワークフローでは JSONL ファイルが標準です。どちらを使うかは、利用するエコシステムの慣習に合わせてください。

JSONL と NDJSON の主な違い

1. 仕様とその位置づけ

JSONL

jsonlines.org に、簡潔な非公式の仕様が公開されています。内容はシンプルで、各行に有効な JSON 値を記述し、行を '\n' で区切ります。文字エンコーディングには UTF-8 が推奨されています。

NDJSON

github.com/ndjson/ndjson-spec に、JSONL よりもやや厳密な仕様が公開されています。各行が有効な JSON 値であること、行区切り文字が '\n'('\r\n' ではない)であることが明示的に求められています。また、末尾に改行を入れることが推奨されています。

2. ファイル拡張子

JSONL

拡張子は .jsonl です。OpenAI のファインチューニング用ファイルや Hugging Face のデータセット、多くの ML/AI ツールで標準的に使われています。GitHub と VS Code は .jsonl ファイルを認識し、シンタックスハイライトを表示します。

NDJSON

拡張子は .ndjson です。データエンジニアリングツールや Elasticsearch の Bulk API、HTTP のストリーミングレスポンスでよく使われています。多くのエディタが .ndjson ファイルのシンタックスハイライトに対応しています。

3. MIME タイプ

JSONL

正式に登録された MIME タイプはありません。非公式の MIME タイプとしては application/jsonl や application/json-lines がよく使われます。実際には、多くのシステムが application/jsonl を使い、それに対応していない場合は application/json を使います。

NDJSON

MIME タイプは application/x-ndjson です。HTTP ではこちらの方が広く認知されており、Elasticsearch、Fetch API のストリーミング標準、各種 Web フレームワークのストリーミングレスポンスで使われています。

4. コミュニティやエコシステムでの採用状況

JSONL

AI/ML のエコシステムでは JSONL が主流です。OpenAI、Anthropic、Google Gemini、Hugging Face、そして大半の ML フレームワークが .jsonl を使っています。開発者コミュニティ全体でも、「JSONL」の方が検索されることが多く、広く知られています。

NDJSON

データエンジニアリングやバックエンドシステムでは NDJSON がよく使われます。Elasticsearch、Apache Spark、PostgreSQL COPY、多くのログ集約ツールが採用しています。npm の ndjson パッケージは、毎週数百万回ダウンロードされています。

JSONL と NDJSON の使い分け

JSONL.jsonl が適しているケース
  • OpenAI や Anthropic などで LLM のファインチューニング用学習データを準備する場合
  • Hugging Face のデータセットを扱う場合
  • ML パイプラインやデータの前処理を実装する場合
  • チームやドキュメントで「JSON Lines」という呼び名を使っている場合
  • 拡張子 .jsonl を指定する AI/ML プラットフォームにファイルをアップロードする場合
  • Python のデータサイエンス環境で作業する場合
NDJSON.ndjson が適しているケース
  • HTTP 経由で JSON データをストリーミング配信する場合(Server-Sent Events、fetch ストリーミング)
  • Elasticsearch の Bulk API を使う場合
  • Apache Spark などのツールでデータパイプラインを構築する場合
  • Content-Type ヘッダーに application/x-ndjson を設定する場合
  • 既存のインフラやチームで NDJSON を使う慣習がある場合
  • Node.js のストリーミングライブラリを使う場合

コード例:JSONL と NDJSON の読み込み

.jsonl ファイルを読み込む(Python)
# JSONL の読み込み - NDJSON の読み込みと完全に同じ
import json


with open('data.jsonl', 'r') as f:
    for line in f:
        record = json.loads(line.strip())
        print(record['text'])


# 出力:
# Hello world
# How are you?
# Goodbye
.ndjson ファイルを読み込む(JavaScript/Node.js)
// NDJSON の読み込み - JSONL の読み込みと完全に同じ
import { createReadStream } from 'fs';
import { createInterface } from 'readline';


const rl = createInterface({
  input: createReadStream('data.ndjson')
});


for await (const line of rl) {
  const record = JSON.parse(line);
  console.log(record.text);
}


// 出力:
// Hello world
// How are you?
// Goodbye

JSONL・NDJSON ファイルをすぐに表示

最大 1GB の .jsonl ファイルと .ndjson ファイルをブラウザで開けます。アップロードもユーザー登録も不要で、どちらの形式もそのまま扱えます。

よくある質問

参考資料