著者: Jerry Fan

JSONL の圧縮:gzip・zstd・Brotli を比較

JSONL ファイルの圧縮方法を実践的に解説します。圧縮率と速度のベンチマークを比較し、データパイプライン、クラウドストレージ、Web 配信で gzip・zstd・Brotli をどう使い分けるかを紹介します。

JSONL ファイルを圧縮する理由

JSONL ファイルのサイズはすぐに大きくなります。アプリケーションログだけでも、1日で数 GB の改行区切りの JSON が生成されることがあり、機械学習用のデータセットでは数十 GB に達することも珍しくありません。圧縮しなければ、ストレージコストが増え、転送に時間がかかり、データパイプラインでは I/O がボトルネックになります。大規模な JSONL データを効率よく扱ううえで、圧縮は欠かせない基本要素です。

幸い、JSONL は非常に圧縮しやすい形式です。JSON は同じキーや区切り文字、構造が繰り返されるテキストなので、圧縮アルゴリズムはこの冗長性を利用して、サイズを元の 5〜15 分の 1 に削減できます。重要なのは、用途に合ったアルゴリズムを選ぶことです。gzip は幅広い環境で使え、zstd は速度と圧縮率のバランスに優れ、Brotli は静的ファイルで最も高い圧縮率を実現します。このガイドでは、実測ベンチマークと実行可能なコード例を交えて3つを比較し、用途ごとの選び方を紹介します。

圧縮アルゴリズムの概要

JSONL の圧縮では、主に3つのアルゴリズムが使われます。それぞれ圧縮の仕組みが異なり、得意とする用途も違います。長所と短所を把握すれば、処理内容に合ったものを選べます。

gzip (DEFLATE)

幅広い互換性

gzip は幅広く使われている標準的な圧縮形式です。1992年から使われており、あらゆるプログラミング言語、OS、クラウドプロバイダー、Web ブラウザでサポートされています。LZ77 とハフマン符号化を組み合わせた DEFLATE アルゴリズムを採用しています。速度や圧縮効率が最も優れているわけではありませんが、どの環境でも使えるため、互換性を最優先する場合の無難な選択肢です。

Zstandard (zstd)

おすすめ

2016年に Facebook が開発した zstd は、現在のデータ圧縮で広く活用されているアルゴリズムです。gzip と同等以上の圧縮率を保ちながら、圧縮も展開も大幅に高速に処理できます。辞書圧縮にも対応しており、各行のキー構造が共通する JSONL ファイルでは特に効果を発揮します。データパイプラインやリアルタイム処理に最適です。

Brotli

最高の圧縮率

Google が開発した Brotli は、3つの中で最も高い圧縮率を実現し、特に最大圧縮レベルで優れた結果を出します。LZ77、ハフマン符号化、一般的な Web コンテンツを収録した組み込みの静的辞書を組み合わせています。HTTP 配信や静的な保存に向けた JSONL の圧縮が得意ですが、圧縮レベルを高くすると gzip や zstd に比べて圧縮速度が大幅に低下します。

gzip・zstd・Brotli の比較

JSONL の圧縮で重要となる指標について、gzip・zstd・Brotli の主な違いを以下の表にまとめました。デフォルト設定での一般的な傾向を示したもので、実際の性能はデータの内容や圧縮レベルによって変わります。

指標gzipzstdBrotli
圧縮率良好(5〜8 倍)非常に良好(6〜10 倍)優秀(7〜12 倍)
圧縮速度中程度高速低速〜中程度
展開速度中程度非常に高速高速
CPU 使用率中程度低〜中程度高い(最大レベル時)
ブラウザの対応状況すべてのブラウザChrome 123+、Firefox 126+現在の主要ブラウザすべて
ストリーミング対応対応(ネイティブ)対応(ネイティブ)限定的

ベンチマーク結果:100 MB の JSONL ファイル

具体的な数値を比較するため、アプリケーションログを含む 100 MB の JSONL ファイルを圧縮したベンチマーク結果を示します。各レコードは、タイムスタンプ、ログレベル、メッセージ文字列、ネストしたメタデータオブジェクトなど、12 個のフィールドで構成されています。テスト環境は AMD Ryzen 7、32 GB の RAM、NVMe ストレージです。

アルゴリズムと圧縮レベル圧縮後のサイズ圧縮率圧縮時間展開時間
gzip(レベル 6)14.2 MB7.0 倍2.8 秒0.9 秒
gzip(レベル 9)13.1 MB7.6 倍8.4 秒0.9 秒
zstd(レベル 3)12.8 MB7.8 倍0.6 秒0.3 秒
zstd(レベル 1)15.1 MB6.6 倍0.3 秒0.3 秒
Brotli(レベル 6)11.5 MB8.7 倍3.2 秒0.5 秒
Brotli(レベル 11)9.8 MB10.2 倍42.1 秒0.4 秒

このベンチマークは、一般的な JSONL 形式のログデータでの結果を示しています。結果は、フィールドの値の種類数(カーディナリティ)、値のエントロピー、レコード構造によって変わります。同じキーが繰り返し現れ、ログレベルやステータスコードのようにエントロピーの低い値を含むファイルは、値がそれぞれ異なる高エントロピーな文字列を含むファイルよりも高い圧縮率が得られます。

圧縮・展開のコード例

Python、Node.js、コマンドラインで JSONL ファイルを圧縮・展開する実用的なコード例を紹介します。各例では、3つのアルゴリズムすべての使い方を取り上げます。

Python は標準で gzip に対応しています。zstd と Brotli を使うには、それぞれ pyzstd パッケージと brotli パッケージをインストールします。基本的な手順は3つとも同じです。圧縮ファイルを開いてファイルハンドルを取得し、それを通じて JSONL を行単位で読み書きします。

Python:gzip・zstd・Brotli
import gzip
import json


# === gzip (built-in) ===
# Write compressed JSONL
with gzip.open('data.jsonl.gz', 'wt', encoding='utf-8') as f:
    for record in records:
        f.write(json.dumps(record, ensure_ascii=False) + '\n')


# Read compressed JSONL
with gzip.open('data.jsonl.gz', 'rt', encoding='utf-8') as f:
    for line in f:
        record = json.loads(line)


# === zstd (pip install pyzstd) ===
import pyzstd


# Write compressed JSONL
with pyzstd.open('data.jsonl.zst', 'wt', encoding='utf-8') as f:
    for record in records:
        f.write(json.dumps(record, ensure_ascii=False) + '\n')


# Read compressed JSONL
with pyzstd.open('data.jsonl.zst', 'rt', encoding='utf-8') as f:
    for line in f:
        record = json.loads(line)


# === Brotli (pip install brotli) ===
import brotli


# Compress an entire JSONL file
with open('data.jsonl', 'rb') as f:
    raw = f.read()
compressed = brotli.compress(raw, quality=6)
with open('data.jsonl.br', 'wb') as f:
    f.write(compressed)


# Decompress
with open('data.jsonl.br', 'rb') as f:
    raw = brotli.decompress(f.read())
for line in raw.decode('utf-8').splitlines():
    record = json.loads(line)

Node.js では、標準の zlib モジュールで gzip と Brotli の両方を扱えます。zstd を使うには、npm パッケージの @aspect-build/zstd または fzstd を利用します。ストリーム API を使えば、ファイル全体をメモリに読み込まずに処理できるため、大きな JSONL ファイルに適しています。

Node.js:zlib による gzip・Brotli の利用
import { createReadStream, createWriteStream } from 'fs';
import { createGzip, createGunzip, createBrotliCompress,
         createBrotliDecompress } from 'zlib';
import { createInterface } from 'readline';
import { pipeline } from 'stream/promises';


// === gzip compress ===
await pipeline(
  createReadStream('data.jsonl'),
  createGzip({ level: 6 }),
  createWriteStream('data.jsonl.gz')
);


// === gzip decompress & parse ===
const gunzip = createGunzip();
const rl = createInterface({
  input: createReadStream('data.jsonl.gz').pipe(gunzip),
});
for await (const line of rl) {
  if (line.trim()) {
    const record = JSON.parse(line);
    // process record
  }
}


// === Brotli compress ===
await pipeline(
  createReadStream('data.jsonl'),
  createBrotliCompress(),
  createWriteStream('data.jsonl.br')
);


// === Brotli decompress & parse ===
const br = createBrotliDecompress();
const rl2 = createInterface({
  input: createReadStream('data.jsonl.br').pipe(br),
});
for await (const line of rl2) {
  if (line.trim()) {
    const record = JSON.parse(line);
  }
}

コマンドラインツールは JSONL ファイルを圧縮する最速の方法です。gzip はすべての Unix システムにプリインストールされています。他の2つのアルゴリズムにはパッケージマネージャーで zstd と brotli をインストールします。

コマンドライン:gzip・zstd・Brotli
# === gzip ===
# Compress (keeps original by default with -k)
gzip -k data.jsonl                # -> data.jsonl.gz
gzip -9 -k data.jsonl              # max compression


# Decompress
gzip -d data.jsonl.gz
# or: gunzip data.jsonl.gz


# === zstd ===
# Install: brew install zstd / apt install zstd
zstd data.jsonl                    # -> data.jsonl.zst
zstd -3 data.jsonl                 # level 3 (default)
zstd --fast data.jsonl             # fastest compression


# Decompress
zstd -d data.jsonl.zst
# or: unzstd data.jsonl.zst


# === Brotli ===
# Install: brew install brotli / apt install brotli
brotli data.jsonl                  # -> data.jsonl.br
brotli -q 6 data.jsonl             # quality 6
brotli -q 11 data.jsonl            # max compression


# Decompress
brotli -d data.jsonl.br


# === Piping with jq ===
# Compress filtered JSONL
cat data.jsonl | jq -c 'select(.level == "error")' | gzip > errors.jsonl.gz


# Decompress and count lines
zstd -dc data.jsonl.zst | wc -l

クラウドストレージでの圧縮の活用

クラウドのオブジェクトストレージに JSONL ファイルを保存する場合、圧縮によってストレージコストと転送時間の両方を削減できます。多くのクラウドプロバイダーでは、CDN 層で gzip と Brotli を透過的に展開できますが、アップロード方法や保存方法はサービスによって異なります。

圧縮した JSONL を S3 にアップロードする際は、Content-Encoding ヘッダーを適切に設定してください。S3 には圧縮したままのデータが保存され、CloudFront では自動的に展開して配信できます。データレイクでの処理には、gzip や zstd で圧縮された JSONL をそのまま読み込める AWS Athena や Spark などのツールを利用できます。

AWS S3 で圧縮ファイルを扱う
import boto3
import gzip
import json


s3 = boto3.client('s3')


# Upload gzip-compressed JSONL to S3
def upload_compressed_jsonl(records, bucket, key):
    # Compress in memory
    compressed = gzip.compress(
        '\n'.join(
            json.dumps(r, ensure_ascii=False) for r in records
        ).encode('utf-8')
    )


    s3.put_object(
        Bucket=bucket,
        Key=f'{key}.jsonl.gz',
        Body=compressed,
        ContentType='application/x-ndjson',
        ContentEncoding='gzip',
    )
    print(f'Uploaded {len(compressed)} bytes (compressed)')


# Download and decompress
def download_compressed_jsonl(bucket, key):
    response = s3.get_object(Bucket=bucket, Key=key)
    raw = gzip.decompress(response['Body'].read())
    return [
        json.loads(line)
        for line in raw.decode('utf-8').splitlines()
        if line.strip()
    ]

Google Cloud Storage は gzip トランスコーディングに対応しています。Content-Encoding: gzip ヘッダーを付けて gzip 圧縮したオブジェクトをアップロードすると、クライアントが Accept-Encoding: gzip を送信した際に、GCS が自動的に展開したデータを配信できます。BigQuery にインポートする場合は、gzip 圧縮した JSONL をそのまま使えます。

Google Cloud Storage で圧縮ファイルを扱う
from google.cloud import storage
import gzip
import json


client = storage.Client()
bucket = client.bucket('my-data-bucket')


# Upload gzip-compressed JSONL
def upload_compressed(records, blob_name):
    blob = bucket.blob(f'{blob_name}.jsonl.gz')
    blob.content_encoding = 'gzip'
    blob.content_type = 'application/x-ndjson'


    data = '\n'.join(
        json.dumps(r, ensure_ascii=False) for r in records
    ).encode('utf-8')


    blob.upload_from_string(
        gzip.compress(data),
        content_type='application/x-ndjson',
    )


# BigQuery: load compressed JSONL directly
# bq load --source_format=NEWLINE_DELIMITED_JSON \
#   my_dataset.my_table gs://bucket/data.jsonl.gz schema.json

用途別の圧縮アルゴリズムの選び方

どの用途にも最適な圧縮アルゴリズムはありません。保存サイズ、処理速度、互換性のどれを優先するか、あるいは3つのバランスをどう取るかによって選択が変わります。ここでは、JSONL の代表的な用途ごとにおすすめの選択肢を紹介します。

アーカイブとコールドストレージ

圧縮率を最大限に高めるなら、Brotli(品質 9-11)または zstd(レベル 19+)を使います。

アーカイブでは、一度圧縮すると展開する機会は少ないため、圧縮にかかる時間はそれほど重要ではありません。Brotli の品質 11 では、JSONL データのサイズを元の 10 分の 1 以下にでき、長期保存のコストを大幅に削減できます。

リアルタイムデータパイプライン

速度と圧縮率のバランスを重視するなら、zstd(レベル 1-3)がおすすめです。

ストリーミングパイプライン(Kafka、Kinesis、Flink)では、圧縮・展開の速度がスループットとレイテンシに直接影響します。zstd のレベル 1 は gzip より高速に圧縮でき、圧縮率も上回ります。スキーマが固定された JSONL には、辞書モードが最適です。

Web 配信と API

静的ファイルには Brotli を使い、幅広いクライアントに対応できるよう gzip をフォールバックとして用意します。

現在の主要ブラウザはすべて、Accept-Encoding: br による Brotli に対応しています。Cloudflare や CloudFront などの CDN では、Brotli での自動圧縮が可能です。古いクライアント向けには gzip をフォールバックとして使います。zstd に対応するブラウザも増えていますが、まだすべてのブラウザで使えるわけではありません。

ETL とバッチ処理

互換性を最優先するなら gzip、処理性能を重視するなら zstd を使います。

ほとんどのデータ処理ツール(Spark、Athena、BigQuery、pandas)は、標準で gzip に対応しています。zstd への対応も急速に進んでいます。利用するツールチェーンが zstd に対応していれば、同程度の圧縮率で 3〜5 倍高速に圧縮できるため、zstd を選ぶとよいでしょう。

無料の JSONL ツールを試す

JSONL ファイルをアップロード前に圧縮したり、無料のオンラインツールで検証・変換したりできます。インストールは不要です。

ブラウザで JSONL ファイルを扱う

最大 1GB の JSONL ファイルを、ブラウザ上で表示・検証・変換できます。アップロードは不要で、プライバシーは 100% 守られます。

よくある質問

参考資料