JSONL の圧縮:gzip・zstd・Brotli を比較
JSONL ファイルの圧縮方法を実践的に解説します。圧縮率と速度のベンチマークを比較し、データパイプライン、クラウドストレージ、Web 配信で gzip・zstd・Brotli をどう使い分けるかを紹介します。
JSONL ファイルを圧縮する理由
JSONL ファイルのサイズはすぐに大きくなります。アプリケーションログだけでも、1日で数 GB の改行区切りの JSON が生成されることがあり、機械学習用のデータセットでは数十 GB に達することも珍しくありません。圧縮しなければ、ストレージコストが増え、転送に時間がかかり、データパイプラインでは I/O がボトルネックになります。大規模な JSONL データを効率よく扱ううえで、圧縮は欠かせない基本要素です。
幸い、JSONL は非常に圧縮しやすい形式です。JSON は同じキーや区切り文字、構造が繰り返されるテキストなので、圧縮アルゴリズムはこの冗長性を利用して、サイズを元の 5〜15 分の 1 に削減できます。重要なのは、用途に合ったアルゴリズムを選ぶことです。gzip は幅広い環境で使え、zstd は速度と圧縮率のバランスに優れ、Brotli は静的ファイルで最も高い圧縮率を実現します。このガイドでは、実測ベンチマークと実行可能なコード例を交えて3つを比較し、用途ごとの選び方を紹介します。
圧縮アルゴリズムの概要
JSONL の圧縮では、主に3つのアルゴリズムが使われます。それぞれ圧縮の仕組みが異なり、得意とする用途も違います。長所と短所を把握すれば、処理内容に合ったものを選べます。
gzip (DEFLATE)
幅広い互換性gzip は幅広く使われている標準的な圧縮形式です。1992年から使われており、あらゆるプログラミング言語、OS、クラウドプロバイダー、Web ブラウザでサポートされています。LZ77 とハフマン符号化を組み合わせた DEFLATE アルゴリズムを採用しています。速度や圧縮効率が最も優れているわけではありませんが、どの環境でも使えるため、互換性を最優先する場合の無難な選択肢です。
Zstandard (zstd)
おすすめ2016年に Facebook が開発した zstd は、現在のデータ圧縮で広く活用されているアルゴリズムです。gzip と同等以上の圧縮率を保ちながら、圧縮も展開も大幅に高速に処理できます。辞書圧縮にも対応しており、各行のキー構造が共通する JSONL ファイルでは特に効果を発揮します。データパイプラインやリアルタイム処理に最適です。
Brotli
最高の圧縮率Google が開発した Brotli は、3つの中で最も高い圧縮率を実現し、特に最大圧縮レベルで優れた結果を出します。LZ77、ハフマン符号化、一般的な Web コンテンツを収録した組み込みの静的辞書を組み合わせています。HTTP 配信や静的な保存に向けた JSONL の圧縮が得意ですが、圧縮レベルを高くすると gzip や zstd に比べて圧縮速度が大幅に低下します。
gzip・zstd・Brotli の比較
JSONL の圧縮で重要となる指標について、gzip・zstd・Brotli の主な違いを以下の表にまとめました。デフォルト設定での一般的な傾向を示したもので、実際の性能はデータの内容や圧縮レベルによって変わります。
| 指標 | gzip | zstd | Brotli |
|---|---|---|---|
| 圧縮率 | 良好(5〜8 倍) | 非常に良好(6〜10 倍) | 優秀(7〜12 倍) |
| 圧縮速度 | 中程度 | 高速 | 低速〜中程度 |
| 展開速度 | 中程度 | 非常に高速 | 高速 |
| CPU 使用率 | 中程度 | 低〜中程度 | 高い(最大レベル時) |
| ブラウザの対応状況 | すべてのブラウザ | Chrome 123+、Firefox 126+ | 現在の主要ブラウザすべて |
| ストリーミング対応 | 対応(ネイティブ) | 対応(ネイティブ) | 限定的 |
ベンチマーク結果:100 MB の JSONL ファイル
具体的な数値を比較するため、アプリケーションログを含む 100 MB の JSONL ファイルを圧縮したベンチマーク結果を示します。各レコードは、タイムスタンプ、ログレベル、メッセージ文字列、ネストしたメタデータオブジェクトなど、12 個のフィールドで構成されています。テスト環境は AMD Ryzen 7、32 GB の RAM、NVMe ストレージです。
| アルゴリズムと圧縮レベル | 圧縮後のサイズ | 圧縮率 | 圧縮時間 | 展開時間 |
|---|---|---|---|---|
| gzip(レベル 6) | 14.2 MB | 7.0 倍 | 2.8 秒 | 0.9 秒 |
| gzip(レベル 9) | 13.1 MB | 7.6 倍 | 8.4 秒 | 0.9 秒 |
| zstd(レベル 3) | 12.8 MB | 7.8 倍 | 0.6 秒 | 0.3 秒 |
| zstd(レベル 1) | 15.1 MB | 6.6 倍 | 0.3 秒 | 0.3 秒 |
| Brotli(レベル 6) | 11.5 MB | 8.7 倍 | 3.2 秒 | 0.5 秒 |
| Brotli(レベル 11) | 9.8 MB | 10.2 倍 | 42.1 秒 | 0.4 秒 |
このベンチマークは、一般的な JSONL 形式のログデータでの結果を示しています。結果は、フィールドの値の種類数(カーディナリティ)、値のエントロピー、レコード構造によって変わります。同じキーが繰り返し現れ、ログレベルやステータスコードのようにエントロピーの低い値を含むファイルは、値がそれぞれ異なる高エントロピーな文字列を含むファイルよりも高い圧縮率が得られます。
圧縮・展開のコード例
Python、Node.js、コマンドラインで JSONL ファイルを圧縮・展開する実用的なコード例を紹介します。各例では、3つのアルゴリズムすべての使い方を取り上げます。
Python は標準で gzip に対応しています。zstd と Brotli を使うには、それぞれ pyzstd パッケージと brotli パッケージをインストールします。基本的な手順は3つとも同じです。圧縮ファイルを開いてファイルハンドルを取得し、それを通じて JSONL を行単位で読み書きします。
import gzip
import json
# === gzip (built-in) ===
# Write compressed JSONL
with gzip.open('data.jsonl.gz', 'wt', encoding='utf-8') as f:
for record in records:
f.write(json.dumps(record, ensure_ascii=False) + '\n')
# Read compressed JSONL
with gzip.open('data.jsonl.gz', 'rt', encoding='utf-8') as f:
for line in f:
record = json.loads(line)
# === zstd (pip install pyzstd) ===
import pyzstd
# Write compressed JSONL
with pyzstd.open('data.jsonl.zst', 'wt', encoding='utf-8') as f:
for record in records:
f.write(json.dumps(record, ensure_ascii=False) + '\n')
# Read compressed JSONL
with pyzstd.open('data.jsonl.zst', 'rt', encoding='utf-8') as f:
for line in f:
record = json.loads(line)
# === Brotli (pip install brotli) ===
import brotli
# Compress an entire JSONL file
with open('data.jsonl', 'rb') as f:
raw = f.read()
compressed = brotli.compress(raw, quality=6)
with open('data.jsonl.br', 'wb') as f:
f.write(compressed)
# Decompress
with open('data.jsonl.br', 'rb') as f:
raw = brotli.decompress(f.read())
for line in raw.decode('utf-8').splitlines():
record = json.loads(line)Node.js では、標準の zlib モジュールで gzip と Brotli の両方を扱えます。zstd を使うには、npm パッケージの @aspect-build/zstd または fzstd を利用します。ストリーム API を使えば、ファイル全体をメモリに読み込まずに処理できるため、大きな JSONL ファイルに適しています。
import { createReadStream, createWriteStream } from 'fs';
import { createGzip, createGunzip, createBrotliCompress,
createBrotliDecompress } from 'zlib';
import { createInterface } from 'readline';
import { pipeline } from 'stream/promises';
// === gzip compress ===
await pipeline(
createReadStream('data.jsonl'),
createGzip({ level: 6 }),
createWriteStream('data.jsonl.gz')
);
// === gzip decompress & parse ===
const gunzip = createGunzip();
const rl = createInterface({
input: createReadStream('data.jsonl.gz').pipe(gunzip),
});
for await (const line of rl) {
if (line.trim()) {
const record = JSON.parse(line);
// process record
}
}
// === Brotli compress ===
await pipeline(
createReadStream('data.jsonl'),
createBrotliCompress(),
createWriteStream('data.jsonl.br')
);
// === Brotli decompress & parse ===
const br = createBrotliDecompress();
const rl2 = createInterface({
input: createReadStream('data.jsonl.br').pipe(br),
});
for await (const line of rl2) {
if (line.trim()) {
const record = JSON.parse(line);
}
}コマンドラインツールは JSONL ファイルを圧縮する最速の方法です。gzip はすべての Unix システムにプリインストールされています。他の2つのアルゴリズムにはパッケージマネージャーで zstd と brotli をインストールします。
# === gzip ===
# Compress (keeps original by default with -k)
gzip -k data.jsonl # -> data.jsonl.gz
gzip -9 -k data.jsonl # max compression
# Decompress
gzip -d data.jsonl.gz
# or: gunzip data.jsonl.gz
# === zstd ===
# Install: brew install zstd / apt install zstd
zstd data.jsonl # -> data.jsonl.zst
zstd -3 data.jsonl # level 3 (default)
zstd --fast data.jsonl # fastest compression
# Decompress
zstd -d data.jsonl.zst
# or: unzstd data.jsonl.zst
# === Brotli ===
# Install: brew install brotli / apt install brotli
brotli data.jsonl # -> data.jsonl.br
brotli -q 6 data.jsonl # quality 6
brotli -q 11 data.jsonl # max compression
# Decompress
brotli -d data.jsonl.br
# === Piping with jq ===
# Compress filtered JSONL
cat data.jsonl | jq -c 'select(.level == "error")' | gzip > errors.jsonl.gz
# Decompress and count lines
zstd -dc data.jsonl.zst | wc -lクラウドストレージでの圧縮の活用
クラウドのオブジェクトストレージに JSONL ファイルを保存する場合、圧縮によってストレージコストと転送時間の両方を削減できます。多くのクラウドプロバイダーでは、CDN 層で gzip と Brotli を透過的に展開できますが、アップロード方法や保存方法はサービスによって異なります。
圧縮した JSONL を S3 にアップロードする際は、Content-Encoding ヘッダーを適切に設定してください。S3 には圧縮したままのデータが保存され、CloudFront では自動的に展開して配信できます。データレイクでの処理には、gzip や zstd で圧縮された JSONL をそのまま読み込める AWS Athena や Spark などのツールを利用できます。
import boto3
import gzip
import json
s3 = boto3.client('s3')
# Upload gzip-compressed JSONL to S3
def upload_compressed_jsonl(records, bucket, key):
# Compress in memory
compressed = gzip.compress(
'\n'.join(
json.dumps(r, ensure_ascii=False) for r in records
).encode('utf-8')
)
s3.put_object(
Bucket=bucket,
Key=f'{key}.jsonl.gz',
Body=compressed,
ContentType='application/x-ndjson',
ContentEncoding='gzip',
)
print(f'Uploaded {len(compressed)} bytes (compressed)')
# Download and decompress
def download_compressed_jsonl(bucket, key):
response = s3.get_object(Bucket=bucket, Key=key)
raw = gzip.decompress(response['Body'].read())
return [
json.loads(line)
for line in raw.decode('utf-8').splitlines()
if line.strip()
]Google Cloud Storage は gzip トランスコーディングに対応しています。Content-Encoding: gzip ヘッダーを付けて gzip 圧縮したオブジェクトをアップロードすると、クライアントが Accept-Encoding: gzip を送信した際に、GCS が自動的に展開したデータを配信できます。BigQuery にインポートする場合は、gzip 圧縮した JSONL をそのまま使えます。
from google.cloud import storage
import gzip
import json
client = storage.Client()
bucket = client.bucket('my-data-bucket')
# Upload gzip-compressed JSONL
def upload_compressed(records, blob_name):
blob = bucket.blob(f'{blob_name}.jsonl.gz')
blob.content_encoding = 'gzip'
blob.content_type = 'application/x-ndjson'
data = '\n'.join(
json.dumps(r, ensure_ascii=False) for r in records
).encode('utf-8')
blob.upload_from_string(
gzip.compress(data),
content_type='application/x-ndjson',
)
# BigQuery: load compressed JSONL directly
# bq load --source_format=NEWLINE_DELIMITED_JSON \
# my_dataset.my_table gs://bucket/data.jsonl.gz schema.json用途別の圧縮アルゴリズムの選び方
どの用途にも最適な圧縮アルゴリズムはありません。保存サイズ、処理速度、互換性のどれを優先するか、あるいは3つのバランスをどう取るかによって選択が変わります。ここでは、JSONL の代表的な用途ごとにおすすめの選択肢を紹介します。
アーカイブとコールドストレージ
圧縮率を最大限に高めるなら、Brotli(品質 9-11)または zstd(レベル 19+)を使います。
アーカイブでは、一度圧縮すると展開する機会は少ないため、圧縮にかかる時間はそれほど重要ではありません。Brotli の品質 11 では、JSONL データのサイズを元の 10 分の 1 以下にでき、長期保存のコストを大幅に削減できます。
リアルタイムデータパイプライン
速度と圧縮率のバランスを重視するなら、zstd(レベル 1-3)がおすすめです。
ストリーミングパイプライン(Kafka、Kinesis、Flink)では、圧縮・展開の速度がスループットとレイテンシに直接影響します。zstd のレベル 1 は gzip より高速に圧縮でき、圧縮率も上回ります。スキーマが固定された JSONL には、辞書モードが最適です。
Web 配信と API
静的ファイルには Brotli を使い、幅広いクライアントに対応できるよう gzip をフォールバックとして用意します。
現在の主要ブラウザはすべて、Accept-Encoding: br による Brotli に対応しています。Cloudflare や CloudFront などの CDN では、Brotli での自動圧縮が可能です。古いクライアント向けには gzip をフォールバックとして使います。zstd に対応するブラウザも増えていますが、まだすべてのブラウザで使えるわけではありません。
ETL とバッチ処理
互換性を最優先するなら gzip、処理性能を重視するなら zstd を使います。
ほとんどのデータ処理ツール(Spark、Athena、BigQuery、pandas)は、標準で gzip に対応しています。zstd への対応も急速に進んでいます。利用するツールチェーンが zstd に対応していれば、同程度の圧縮率で 3〜5 倍高速に圧縮できるため、zstd を選ぶとよいでしょう。
無料の JSONL ツールを試す
JSONL ファイルをアップロード前に圧縮したり、無料のオンラインツールで検証・変換したりできます。インストールは不要です。
ギガバイト規模の JSONL データを処理する方法を紹介します。ストリーミングでの読み込み、メモリ管理、ファイル分割、圧縮、オンラインツールを取り上げます。
整形、スキーマの一貫性、エラーハンドリング、パフォーマンスの最適化、ファイル整理に関する JSONL のベストプラクティスを解説します。実践的な例を通じて、よくある落とし穴を避ける方法を学べます。
大容量の JSONL ファイルを、行数やファイルサイズに応じて小さく分割できます。バッチ API の制限に合わせた分割や、並列処理に適しています。
複数の JSONL ファイルを 1 つにまとめられます。JSON Lines ファイルの結合、重複排除、検証により、データセットを統合できます。
JSONL と Parquet を比較し、データパイプライン、分析、機械学習、ストレージでの使い分けを解説します。パフォーマンスのベンチマークや、両者を組み合わせたアーキテクチャのガイドも紹介します。