JSONL 驗證器
即時驗證您的 JSONL(JSON Lines)檔案。逐行檢查正確的 JSON 語法。100% 在用戶端處理,您的資料永遠不會離開瀏覽器。
輸入 JSONL
將 .jsonl 檔案拖放到這裡,或點擊瀏覽
支援 .jsonl、.ndjson、.json、.txt
驗證結果
貼上或拖放 JSONL 內容以進行驗證
錯誤對照表:哪裡壞了、怎麼修
幾乎所有不合法的 JSONL 檔案都是因為六種原因之一。這張表把你看到的錯誤對應到實際的位元組層級成因與最快的修法 — 依 RFC 8259,JSON 對這些全都很嚴格,而 JSONL 又在其上加了「一行一筆記錄」的規則:
| 壞掉的行長這樣 | 問題所在 | 修法 |
|---|---|---|
| {"a": 1,} | 尾隨逗號 — 在 JavaScript 合法,在 JSON 不合法 | 移除 } 或 ] 前面的逗號 |
| {'a': 1} | 單引號 — JSON 字串必須用雙引號 | 把鍵和字串值上的 ' 換成 " |
| {"note": "line one | 字串內未轉義的換行把記錄拆到多行 | 轉義成 \n,讓記錄保持在同一行 |
| {"a": 1} | UTF-8 BOM 黏在第一筆記錄前面 | 以無 BOM 格式儲存,或移除開頭三個位元組 |
| {"a": 1} {"b": 2} | 同一行有兩筆記錄 — 解析器會視為尾部多餘內容 | 讓每筆記錄各自獨立一行 |
| (空行) | 嚴格來說不是記錄;有些解析器會報錯,有些會跳過 | 刪除空白行,或設定使用方跳過它們 |
如何驗證 JSONL 檔案
JSONL 驗證會檢查檔案的每一行,確保其包含有效的 JSON。每一行必須是完整、可解析的 JSON 值——通常是一個 JSON 物件。
我們的驗證器完全在瀏覽器中讀取您的 JSONL 檔案。不會將任何資料上傳到任何伺服器。只需貼上您的 JSONL 文字或拖放檔案,驗證結果就會即時出現。
包含錯誤的行會標示其行號和具體錯誤訊息。您可以複製驗證報告與團隊共享,或用於修正問題。
檢查 OpenAI 微調檔案
只要有任何一行不符合 OpenAI 的對話格式,微調檔案就會上傳失敗。請將上方的檢查標準切換為「OpenAI 微調格式」,在上傳前找出所有有問題的行。每一行會檢查以下項目:
- 包含 "messages" 陣列,且陣列不可為空
- 每則訊息都有角色:system、user、assistant 或 tool
- 內容為字串或內容區塊清單(僅呼叫工具的 assistant 訊息可以省略內容)
- 至少包含一則 assistant 訊息,供模型學習
- "weight" 的值為 0 或 1,且僅用於 assistant 訊息
- 是否有使用舊版 prompt/completion 格式或偏好(DPO)格式的行,這些格式需要不同的設定
驗證器也會統計範例數與訊息數,在檔案少於 OpenAI 要求的 10 個範例時提出警告,並提供粗略的 token 數估計,讓您評估訓練規模。格式詳情請參閱 OpenAI JSONL 格式指南。
常見錯誤與解決方案
JSON 物件中的尾隨逗號
JSON 物件中最後一個鍵值對後面的尾隨逗號(例如 {"name":"Alice",})不是有效的 JSON。請移除每行最後一個屬性後面的逗號來修正此常見語法錯誤。
未加引號的屬性鍵值
JSON 要求所有屬性鍵值都必須用雙引號包裹。像 {name:"Alice"} 這樣的鍵值將無法通過驗證。請確保所有鍵值都使用雙引號:{"name":"Alice"}。
字串中無效的跳脫序列
JSON 只支援特定的跳脫序列(\n、\t、\"、\\ 等)。無效的序列如 \x 或 \' 會導致解析錯誤。請使用正確的 JSON 跳脫序列,或將特殊字元編碼為 Unicode(\uXXXX)。
在 CI 和命令列上驗證
執行管線之前,可用這些指令檢查每行是否恰好包含一個 JSON 值。它們每次讀取一行,因此記憶體用量取決於最大的記錄,而非整個檔案。空白行會被拒絕;最後一行可以不帶換行字元。
# jq: parse each line and stop on the first error; empty needs no -e
jq -R 'try (
if startswith("\uFEFF") then error("UTF-8 BOM is not allowed")
else fromjson end | empty
) catch halt_error(1)' data.jsonl && echo OK
# Python: reject non-standard constants and report the first broken line
python3 - <<'PYTHON'
import json
import sys
def reject_constant(value):
raise ValueError(f"Invalid JSON constant: {value}")
with open("data.jsonl", "r", encoding="utf-8") as source:
for line_number, line in enumerate(source, 1):
try:
json.loads(line, parse_constant=reject_constant)
except ValueError as error:
sys.exit(f"Line {line_number}: {error}")
print("OK")
PYTHON這些檢查不會驗證必要欄位、欄位型別或 OpenAI 訓練資料規則;這些要求需要透過 schema 驗證來檢查。jq 會接受某些非標準數值字面值,包括 NaN 和 Infinity。如果需要拒絕這些值,請使用 Python 範例。
什麼是 JSONL 驗證?
JSONL 驗證是檢查 JSONL 檔案中每一行是否包含語法正確的 JSON 的過程。在將 JSONL 檔案用於機器學習訓練、API 批次操作或資料管線處理之前,這一步至關重要。
驗證能捕捉的常見問題包括:缺少或多餘的逗號、未加引號的鍵值、尾隨逗號、括號不匹配、無效的跳脫序列,以及 BOM 字元等編碼問題。
常見使用情境
- 資料品質保證
- 在匯入資料庫或分析平台前驗證 JSONL 匯出,防止資料損毀。
- 機器學習資料集驗證
- 在上傳前檢查 OpenAI 微調資料集和 Hugging Face 訓練資料的格式正確性。
- 除錯資料管線
- 識別 JSONL 日誌檔案和串流資料輸出中格式錯誤的行。
- 上傳前驗證
- 在上傳到要求嚴格格式合規的 API 之前驗證 JSONL 檔案。
- CI/CD 管線驗證
- 將 JSONL 驗證整合為 CI/CD 管線中的一個步驟,在格式錯誤的資料檔案到達正式環境之前及時發現問題。
- 結構一致性檢查
- 驗證 JSONL 檔案中的所有行都能正確解析,並以視覺化方式檢查記錄是否遵循一致的結構規範。
常見問題
JSONL 驗證會檢查哪些項目?
JSONL 驗證會檢查檔案中每個非空行是否為語法正確的 JSON。它會驗證括號匹配是否正確、字串引號是否正確、跳脫序列是否有效,以及整體 JSON 結構。
驗證時,我的資料安全嗎?
是的。所有驗證都在您的瀏覽器本機進行。不會將任何資料傳送到任何伺服器。您的 JSONL 內容永遠不會離開您的裝置。
可以驗證大型 JSONL 檔案嗎?
可以。驗證器逐行獨立處理,因此可以處理大型檔案。對於非常大的檔案(100MB+),驗證可能需要幾秒鐘。
驗證失敗時該怎麼辦?
檢閱每個無效行的錯誤詳情。常見修正包括添加缺少的引號、移除尾隨逗號和確保括號正確匹配。您也可以使用我們的 JSONL 格式化工具來幫助識別格式問題。
驗證器會檢查各行的資料結構是否一致嗎?
驗證器只檢查 JSON 語法,不檢查結構一致性。每一行都會獨立驗證,確保其為有效的 JSON。若需要結構驗證,您需要在語法檢查之上額外使用 JSON Schema 驗證器。
可以驗證使用不同副檔名的 NDJSON 或 JSON Lines 檔案嗎?
可以。驗證器接受 .jsonl、.ndjson、.json 和 .txt 副檔名的檔案。無論副檔名為何,內容的處理方式都相同——每個非空行都會被當作 JSON 進行驗證。
驗證時會如何處理空行和只有空白字元的行?
空行和只包含空白字元的行在驗證過程中會自動跳過。它們不會被計為錯誤,也不會出現在驗證報告中。這符合 JSONL 規範。
這個工具可以自動修正格式不合法的 JSONL 嗎?
驗證器會識別並報告錯誤,但不會自動修正。自動修正可能會更改預期的資料內容。請根據錯誤詳情手動修正每個問題,然後重新驗證以確認所有行都通過。
相關工具與指南
使用適當的縮排格式化和美化 JSONL 檔案。讓除錯和資料審閱更加輕鬆。
為 OpenAI 準備 JSONL 檔案的完整指南。涵蓋微調資料格式、Batch API 請求、常見錯誤和驗證技巧。
學習如何使用 JSON Schema 驗證 JSONL 檔案。涵蓋 Python、Node.js、CLI 工具和 CI/CD 自動化。
學習如何建構 JSONL 檔案以使用 OpenAI 的 Batch API。請求格式、回應解析和完整工作流程,附帶程式碼範例。
按行數將大型 JSONL 檔案拆分為更小、更易管理的檔案區塊。