JSONL vs Parquet:選擇正確的資料格式
JSONL(JSON Lines)和 Apache Parquet 的全面比較。了解壓縮、查詢效能、Schema 強制執行和生態系統支援之間的取捨,為你的資料工作負載選擇正確的格式。
什麼是 JSONL?
JSONL(JSON Lines)是一種基於文字的資料格式,每行包含一個獨立的 JSON 物件,以換行符分隔。它是無處不在的 JSON 格式的自然延伸,專為串流和日誌式資料而設計。因為每一行都是獨立的 JSON 文件,檔案可以追加而無需重寫現有資料,且可以逐行處理並保持最小的記憶體開銷。
JSONL 已成為機器學習訓練資料(OpenAI 微調、Hugging Face 資料集)、應用程式日誌、事件串流以及任何資料增量到達場景的標準交換格式。其人類可讀的特性使得使用任何文字編輯器或命令列工具如 grep、head 和 jq 進行檢查都很容易。
{"id": 1, "name": "Alice", "role": "engineer", "salary": 95000}
{"id": 2, "name": "Bob", "role": "designer", "salary": 88000}
{"id": 3, "name": "Charlie", "role": "manager", "salary": 105000}什麼是 Parquet?
Apache Parquet 是一種列式二進位儲存格式,專為大型資料集的高效分析查詢而設計。與 JSONL 逐行儲存不同,Parquet 按欄位組織值,這意味著讀取數百萬行中的單一欄位只需掃描相關的欄位而非每筆完整記錄。這種列式佈局可以進行大幅壓縮,因為同一欄位內的值在型別和分佈上往往相似。
Parquet 誕生於 Apache Hadoop 生態系統,現在是建構在 AWS S3、Google Cloud Storage 和 Azure Blob Storage 上的資料湖的事實標準儲存格式。它與 Apache Spark、Apache Hive、Presto、DuckDB、Snowflake、BigQuery 以及幾乎所有現代分析引擎深度整合。Parquet 檔案在其中繼資料中嵌入嚴格的 schema,因此消費者始終知道資料的確切型別和結構,無需外部文件。
import pyarrow.parquet as pq
import pandas as pd
# Write a DataFrame to Parquet
df = pd.DataFrame({
'id': [1, 2, 3],
'name': ['Alice', 'Bob', 'Charlie'],
'role': ['engineer', 'designer', 'manager'],
'salary': [95000, 88000, 105000]
})
df.to_parquet('employees.parquet')
# Read specific columns (columnar advantage)
df = pq.read_table('employees.parquet', columns=['name', 'salary']).to_pandas()JSONL vs Parquet:並排比較
下表總結了 JSONL 和 Parquet 在選擇專案資料格式時最重要的維度上的關鍵差異。
| 特性 | JSONL | Parquet |
|---|---|---|
| 資料佈局 | 行導向,基於文字。每行是一個完整的 JSON 物件。 | 列導向,二進位。值按欄位儲存,包含行群組。 |
| 編碼 | UTF-8 純文字。人類可讀,可在任何文字編輯器中編輯。 | 二進位,包含字典、RLE 和位元打包編碼。非人類可讀。 |
| 壓縮 | 選用外部壓縮(gzip、zstd)。欄位名稱每行重複。 | 內建列式壓縮(Snappy、Zstd、Gzip)。檔案小 2-10 倍。 |
| 查詢效能 | 任何查詢都必須掃描完整檔案。沒有欄位裁剪或述語下推。 | 欄位裁剪和述語下推可跳過不相關的資料。分析查詢快數個數量級。 |
| Schema | 無 Schema。每行可以有不同的欄位和型別。靈活但容易出錯。 | 嚴格的型別化 schema 嵌入在檔案中繼資料中。讀取和寫入時強制執行。 |
| 串流 / 追加 | 優秀。在檔案末尾追加新行。適合即時資料擷取。 | 較差。需要重寫或建立新的檔案分區來新增資料。 |
| 人類可讀 | 是。可用 cat、head、grep、jq 或任何文字編輯器檢查。 | 否。需要專用工具(parquet-tools、PyArrow、DuckDB)來檢查。 |
| 生態系統 | 通用。每種有 JSON 解析器的程式語言都支援。 | 分析導向。與 Spark、Hive、Presto、DuckDB、Snowflake、BigQuery 深度整合。 |
效能基準測試
JSONL 和 Parquet 之間的效能差距在大規模時會變得非常明顯。以下是一個具有 20 個欄位(混合字串、整數、浮點數和時間戳記)的 1000 萬行資料集的代表性基準測試。
檔案大小(壓縮)
全表掃描
寫入速度
單欄位查詢
基準測試使用 Python(pandas + PyArrow)在 M2 MacBook Pro 16 GB RAM 上進行。實際結果因硬體、資料分佈和壓縮編解碼器而異。
何時使用 JSONL vs Parquet
- 即時日誌擷取和事件串流
- OpenAI、Anthropic 和 Hugging Face 的 ML 訓練資料
- 微服務和 API 之間的資料交換
- 每筆記錄具有不同 schema 的半結構化資料
- 需要人類可讀性的快速原型開發和除錯
- 記錄持續到達的僅附加資料
- 不需要分析查詢的中小型資料集(1 GB 以下)
- S3、GCS 或 Azure Blob 上的資料湖儲存
- 使用 Spark、Presto、DuckDB 或 Snowflake 的分析查詢
- 跨數十億行的列式聚合(SUM、AVG、COUNT)
- 嚴格的 schema 強制執行和資料治理需求
- 儲存成本重要的長期歸檔(檔案小 2-10 倍)
- 讀取特定欄位的特徵儲存和 ML 特徵管線
- 查詢效能至關重要的大型資料集(超過 1 GB)
混合架構:JSONL 擷取、Parquet 儲存
在正式環境的資料平台中,JSONL 和 Parquet 並非互斥。一個常見且有效的模式是使用 JSONL 進行資料擷取,使用 Parquet 進行長期儲存和分析。這種混合方式結合了兩種格式的優勢:JSONL 的簡潔性用於即時資料擷取,Parquet 的高效性用於下游查詢。
管線分為三個階段。首先,原始事件或記錄在到達時追加到 JSONL 檔案,因為 JSONL 支援快速、無鎖的追加。其次,定期批次作業(每小時、每天或由檔案大小觸發)讀取累積的 JSONL 檔案、驗證和轉換資料,並將其轉換為 Parquet 格式。第三,產生的 Parquet 檔案按日期、區域或其他維度分區儲存在資料湖中,以便高效查詢。
1. 以 JSONL 擷取
收集原始事件、日誌和 API 回應為 JSONL 檔案。快速追加、無需 schema,且便於即時除錯。
2. 轉換與驗證
定期讀取 JSONL 批次,套用 schema 驗證、清理和正規化資料,處理格式錯誤的記錄。
3. 以 Parquet 儲存
將驗證後的資料作為分區 Parquet 檔案寫入資料湖。使用 Spark、DuckDB 或任何分析引擎查詢。
import json
import pandas as pd
import pyarrow as pa
import pyarrow.parquet as pq
from pathlib import Path
from datetime import datetime
def jsonl_to_parquet(jsonl_dir: str, parquet_dir: str):
"""Convert accumulated JSONL files to partitioned Parquet."""
records = []
for jsonl_file in Path(jsonl_dir).glob('*.jsonl'):
with open(jsonl_file, 'r') as f:
for line in f:
line = line.strip()
if line:
records.append(json.loads(line))
if not records:
return
df = pd.DataFrame(records)
# Add partition column
df['date'] = datetime.now().strftime('%Y-%m-%d')
table = pa.Table.from_pandas(df)
pq.write_to_dataset(
table,
root_path=parquet_dir,
partition_cols=['date'],
compression='zstd'
)
print(f'Converted {len(records)} records to Parquet')
jsonl_to_parquet('raw_events/', 'data_lake/')試試我們的免費 JSONL 工具
正在處理 JSONL 檔案?使用我們的免費瀏覽器工具即時檢視、驗證和轉換 JSONL 資料。無需安裝或上傳。
處理 GB 級 JSONL 資料的策略。串流讀取、記憶體管理、檔案分割、壓縮及線上工具。
比較 gzip、zstd 和 Brotli 壓縮 JSONL 檔案的效果。包含基準測試、Python 和 Node.js 程式碼範例、雲端儲存策略和最佳實踐。
學習如何在 ETL 管線中使用 JSONL 作為交換格式。涵蓋 Apache Kafka 串流、Airflow DAG、Snowflake 和 BigQuery 載入,以及容錯管線設計。
將 JSONL 資料匯出為 CSV 試算表。非常適合在 Excel 或 Google Sheets 中進行分析。
掌握 JSONL 格式化、Schema 一致性、錯誤處理、效能優化和檔案組織的最佳實踐。透過實用範例避免常見陷阱。