JSONL vs Parquet:用途に合ったデータ形式の選び方
JSONL(JSON Lines)と Apache Parquet を詳しく比較します。圧縮率、クエリ性能、スキーマの制約、エコシステムの対応状況にどのような違いがあるのかを把握し、処理内容に合ったデータ形式を選びましょう。
JSONL とは?
JSONL(JSON Lines)は、1 行に 1 つの独立した JSON オブジェクトを記述し、改行で区切るテキスト形式のデータフォーマットです。広く使われている JSON を自然に拡張したもので、ストリーミングやログのようなデータを扱うために設計されています。各行が独立した JSON ドキュメントなので、既存のデータを書き換えずにファイルへ追記でき、メモリの使用量を最小限に抑えながら 1 行ずつ処理できます。
JSONL は、機械学習の学習データ(OpenAI のファインチューニング、Hugging Face のデータセット)、アプリケーションログ、イベントストリームなど、データが順次届く場面で標準的なデータ交換形式として使われています。内容をそのまま読めるため、テキストエディタや grep、head、jq などのコマンドラインツールで簡単に確認できます。
{"id": 1, "name": "Alice", "role": "engineer", "salary": 95000}
{"id": 2, "name": "Bob", "role": "designer", "salary": 88000}
{"id": 3, "name": "Charlie", "role": "manager", "salary": 105000}Parquet とは?
Apache Parquet は、大規模なデータセットに対して分析クエリを効率よく実行できるように設計された、列指向のバイナリストレージ形式です。JSONL のように行単位で保存するのではなく、列単位で値をまとめて保存します。そのため、数百万行にわたる特定のフィールドを読み取る場合も、すべてのレコードを丸ごとスキャンする必要はなく、対象の列だけをスキャンすれば済みます。同じ列の値は型や分布が似ている傾向があるため、この列指向の構造によって高い圧縮率も得られます。
Parquet は Apache Hadoop のエコシステムで生まれ、現在では AWS S3、Google Cloud Storage、Azure Blob Storage 上に構築するデータレイクの事実上の標準保存形式となっています。Apache Spark、Apache Hive、Presto、DuckDB、Snowflake、BigQuery をはじめ、現在のほぼすべての分析エンジンと密接に連携しています。Parquet ファイルのメタデータには厳密なスキーマが埋め込まれているため、データを利用する側は、別途ドキュメントを参照しなくても正確な型と構造を把握できます。
import pyarrow.parquet as pq
import pandas as pd
# Write a DataFrame to Parquet
df = pd.DataFrame({
'id': [1, 2, 3],
'name': ['Alice', 'Bob', 'Charlie'],
'role': ['engineer', 'designer', 'manager'],
'salary': [95000, 88000, 105000]
})
df.to_parquet('employees.parquet')
# Read specific columns (columnar advantage)
df = pq.read_table('employees.parquet', columns=['name', 'salary']).to_pandas()JSONL と Parquet の比較表
プロジェクトで使うデータ形式を選ぶ際に重要な項目について、JSONL と Parquet の主な違いを以下の表にまとめました。
| 比較項目 | JSONL | Parquet |
|---|---|---|
| データの格納方式 | 行指向のテキスト形式。各行に完全な JSON オブジェクトを格納します。 | 列指向のバイナリ形式。行グループ内で列ごとに値を格納します。 |
| エンコーディング | UTF-8 のプレーンテキスト。内容をそのまま読め、どのテキストエディタでも編集できます。 | 辞書エンコーディング、RLE、ビットパッキングを使うバイナリ形式。そのままでは内容を読めません。 |
| 圧縮 | 必要に応じて gzip や zstd で外部から圧縮します。各行にフィールド名が繰り返し記録されます。 | 列単位の圧縮(Snappy、Zstd、Gzip)を標準で備えています。ファイルサイズは 1/2〜1/10 になります。 |
| クエリ性能 | どのクエリでもファイル全体のスキャンが必要です。カラムプルーニングや述語プッシュダウンには対応していません。 | カラムプルーニングと述語プッシュダウンで不要なデータを読み飛ばせます。分析クエリでは桁違いに高速です。 |
| スキーマ | スキーマレス。行ごとに異なるフィールドや型を使えます。柔軟ですが、エラーが発生しやすくなります。 | 型を厳密に定義したスキーマをファイルのメタデータに埋め込みます。読み書きの際には、このスキーマに従う必要があります。 |
| ストリーミング/追記 | 得意です。ファイル末尾に新しい行を追加するだけなので、リアルタイムのデータ取り込みに最適です。 | 不向きです。データを追加するには、ファイルを書き換えるか、新しいファイルパーティションを作成する必要があります。 |
| 内容の読みやすさ | そのまま読めます。cat、head、grep、jq や任意のテキストエディタで確認できます。 | そのままでは読めません。確認には専用ツール(parquet-tools、PyArrow、DuckDB)が必要です。 |
| エコシステム | 幅広く対応しています。JSON パーサーがあるプログラミング言語なら、どの言語でも扱えます。 | 分析用途が中心です。Spark、Hive、Presto、DuckDB、Snowflake、BigQuery と密接に連携しています。 |
性能ベンチマーク
JSONL と Parquet の性能差は、データ量が増えるほど顕著になります。以下は、1,000 万行、20 列(文字列、整数、浮動小数点数、タイムスタンプが混在)のデータセットを使った代表的なベンチマークです。
ファイルサイズ(圧縮)
テーブル全体のスキャン
書き込み速度
単一列へのクエリ
ベンチマークは、16 GB の RAM を搭載した M2 MacBook Pro で、Python(pandas + PyArrow)を使って測定しました。実際の結果は、ハードウェア、データの分布、圧縮コーデックによって異なります。
JSONL と Parquet の使い分け
- リアルタイムのログ取り込みとイベントストリーミング
- OpenAI、Anthropic、Hugging Face 向けの機械学習の学習データ
- マイクロサービスや API 間のデータ交換
- レコードごとにスキーマが異なる半構造化データ
- 内容の読みやすさが重要な、手早いプロトタイピングやデバッグ
- レコードが継続的に届く、追記専用のデータ
- 分析クエリを必要としない小〜中規模のデータセット(1 GB 未満)
- S3、GCS、Azure Blob 上のデータレイクへの保存
- Spark、Presto、DuckDB、Snowflake を使った分析クエリ
- 数十億行を対象とする列単位の集計(SUM、AVG、COUNT)
- スキーマへの厳密な準拠やデータガバナンスが求められる用途
- ストレージコストを重視する長期アーカイブ(ファイルサイズは 1/2〜1/10)
- 特定の列を読み取る特徴量ストアや機械学習の特徴量パイプライン
- クエリ性能が重要な、1 GB を超えるデータセット
ハイブリッド構成:JSONL で取り込み、Parquet で保存
本番のデータ基盤では、JSONL と Parquet を併用できます。よく使われる効果的な構成は、データの取り込みに JSONL を使い、長期保存と分析に Parquet を使う方法です。このハイブリッド構成なら、リアルタイムにデータを収集しやすい JSONL のシンプルさと、後続のクエリを効率よく処理できる Parquet の強みを組み合わせられます。
パイプラインは 3 つの段階で構成されます。まず、生のイベントやレコードが届くたびに JSONL ファイルへ追記します。JSONL はロックなしで高速に追記できるため、この用途に適しています。次に、蓄積した JSONL ファイルをバッチジョブで読み込み、データを検証・変換して Parquet 形式にします。このジョブは毎時、毎日などの間隔で、またはファイルサイズを契機に実行します。最後に、生成した Parquet ファイルを、日付やリージョンなどの軸でパーティション分割したデータレイクに保存し、効率よくクエリできるようにします。
1. JSONL で取り込む
生のイベント、ログ、API レスポンスを JSONL ファイルとして収集します。高速に追記でき、スキーマも不要で、リアルタイムのデバッグも簡単です。
2. 変換・検証する
JSONL データを定期的にバッチで読み込み、スキーマを検証します。データのクレンジングと正規化を行い、形式が不正なレコードにも対処します。
3. Parquet で保存する
検証済みのデータを、パーティション分割した Parquet ファイルとしてデータレイクに書き込みます。Spark、DuckDB など、任意の分析エンジンでクエリできます。
import json
import pandas as pd
import pyarrow as pa
import pyarrow.parquet as pq
from pathlib import Path
from datetime import datetime
def jsonl_to_parquet(jsonl_dir: str, parquet_dir: str):
"""Convert accumulated JSONL files to partitioned Parquet."""
records = []
for jsonl_file in Path(jsonl_dir).glob('*.jsonl'):
with open(jsonl_file, 'r') as f:
for line in f:
line = line.strip()
if line:
records.append(json.loads(line))
if not records:
return
df = pd.DataFrame(records)
# Add partition column
df['date'] = datetime.now().strftime('%Y-%m-%d')
table = pa.Table.from_pandas(df)
pq.write_to_dataset(
table,
root_path=parquet_dir,
partition_cols=['date'],
compression='zstd'
)
print(f'Converted {len(records)} records to Parquet')
jsonl_to_parquet('raw_events/', 'data_lake/')無料の JSONL ツールを試す
JSONL ファイルを扱う際は、ブラウザで使える無料ツールをご活用ください。JSONL データの表示・検証・変換をすぐに行えます。インストールもアップロードも不要です。
ギガバイト規模の JSONL データを処理する方法を紹介します。ストリーミングでの読み込み、メモリ管理、ファイル分割、圧縮、オンラインツールを取り上げます。
JSONL ファイルの圧縮に使う gzip、zstd、Brotli を比較します。ベンチマーク、Python と Node.js のコード例、クラウドストレージの活用方法、ベストプラクティスを紹介します。
ETL パイプラインで JSONL をデータ交換形式として使う方法を解説します。Apache Kafka によるストリーミング、Airflow の DAG、Snowflake と BigQuery への読み込み、耐障害性のあるパイプラインの設計を取り上げます。
JSONL データを表計算用の CSV ファイルにエクスポートできます。Excel や Google Sheets での分析に便利です。
整形、スキーマの一貫性、エラーハンドリング、パフォーマンスの最適化、ファイル整理に関する JSONL のベストプラクティスを解説します。実践的な例を通じて、よくある落とし穴を避ける方法を学べます。