JSONL 검증기

JSONL(JSON Lines) 파일을 즉시 검증합니다. 모든 줄의 올바른 JSON 구문을 확인합니다. 100% 클라이언트 측 처리, 데이터는 브라우저를 떠나지 않습니다.

검증 기준

입력 JSONL

.jsonl 파일을 여기에 드롭하거나 클릭하여 찾아보기

.jsonl, .ndjson, .json, .txt 지원

검증 결과

검증할 JSONL 내용을 붙여넣거나 드롭하세요

오류 레퍼런스: 무엇이 깨졌고 어떻게 고치나

유효하지 않은 JSONL 파일의 거의 대부분은 여섯 가지 이유 중 하나로 실패합니다. 이 표는 화면에 표시되는 오류를 실제 바이트 수준의 원인과 가장 빠른 해결 방법에 매핑합니다. RFC 8259에 따라 JSON은 이 모든 항목에 엄격하며, JSONL은 그 위에 줄당 하나의 레코드 규칙을 더합니다.

깨진 줄의 모습무엇이 문제인가해결 방법
{"a": 1,}후행 쉼표 — JavaScript에서는 적법하지만 JSON에서는 불법} 또는 ] 앞의 쉼표를 제거하세요
{'a': 1}작은따옴표 — JSON 문자열은 큰따옴표가 필수키와 문자열 값의 '를 "로 교체하세요
{"note": "line one문자열 안의 이스케이프되지 않은 줄바꿈이 레코드를 여러 줄로 쪼갬레코드가 한 줄에 유지되도록 \n으로 이스케이프하세요
{"a": 1}첫 번째 레코드에 UTF-8 BOM이 붙어 있음BOM 없이 저장하거나 앞의 3바이트를 제거하세요
{"a": 1} {"b": 2}한 줄에 레코드 두 개 — 파서는 뒤쪽을 잉여 데이터로 인식모든 레코드를 각자의 줄에 두세요
(빈 줄)엄밀히는 레코드가 아님 — 오류를 내는 파서도, 건너뛰는 파서도 있음빈 줄을 삭제하거나 소비자가 건너뛰도록 설정하세요

JSONL 파일을 검증하는 방법

JSONL 검증은 파일의 각 줄이 유효한 JSON을 포함하는지 확인합니다. 각 줄은 완전하고 파싱 가능한 JSON 값이어야 하며, 일반적으로 JSON 객체입니다.

당사의 검증기는 브라우저에서 완전히 JSONL 파일을 읽습니다. 서버에 데이터가 업로드되지 않습니다. JSONL 텍스트를 붙여넣거나 파일을 드래그 앤 드롭하면 검증 결과가 즉시 나타납니다.

오류가 있는 줄은 줄 번호와 구체적인 오류 메시지와 함께 강조 표시됩니다. 검증 보고서를 복사하여 팀과 공유하거나 문제를 수정하는 데 사용할 수 있습니다.

OpenAI 파인튜닝 파일 검증

한 줄이라도 OpenAI의 채팅 형식에 맞지 않으면 파인튜닝 파일 업로드가 실패합니다. 업로드 전에 위의 검증 기준을 OpenAI 파인튜닝 형식으로 전환하여 문제가 있는 모든 줄을 확인하세요. 각 줄에서 다음 항목을 확인합니다:

  • "messages" 배열이 있고 비어 있지 않은지
  • 모든 메시지에 system, user, assistant 또는 tool 역할이 지정되어 있는지
  • content가 문자열 또는 콘텐츠 부분 목록으로 제공되는지(도구 호출만 하는 assistant 메시지는 생략 가능)
  • 모델이 학습할 assistant 메시지가 하나 이상 있는지
  • "weight"가 0 또는 1이고 assistant 메시지에만 사용되는지
  • 별도 설정이 필요한 이전 prompt/completion 형식이나 선호도(DPO) 형식의 줄이 있는지

학습 예시와 메시지 수도 집계하고, 파일의 학습 예시가 OpenAI에서 요구하는 최소 10개보다 적으면 경고합니다. 또한 학습 규모를 가늠할 수 있도록 대략적인 토큰 수를 제공합니다. 형식에 대한 자세한 내용은 OpenAI JSONL 형식 가이드를 참고하세요.

일반적인 오류 및 해결 방법

JSON 객체의 후행 쉼표

JSON 객체의 마지막 키-값 쌍 뒤에 오는 후행 쉼표(예: {"name":"Alice",})는 유효한 JSON이 아닙니다. 이 일반적인 구문 오류를 수정하려면 각 줄의 마지막 속성 뒤에 있는 쉼표를 제거하세요.

따옴표 없는 속성 키

JSON에서는 모든 속성 키가 큰따옴표로 감싸져야 합니다. {name:"Alice"}와 같은 키는 검증에 실패합니다. 모든 키에 큰따옴표를 사용하세요: {"name":"Alice"}.

문자열 내 잘못된 이스케이프 시퀀스

JSON은 특정 이스케이프 시퀀스(\n, \t, \", \\ 등)만 지원합니다. \x 또는 \'와 같은 잘못된 시퀀스는 파싱 오류를 유발합니다. 올바른 JSON 이스케이프 시퀀스를 사용하거나 특수 문자를 유니코드(\uXXXX)로 인코딩하세요.

CI와 커맨드라인에서 검증하기

파이프라인을 실행하기 전에 이 명령들로 각 줄에 JSON 값이 하나씩 있는지 확인하세요. 한 번에 한 줄씩 읽으므로 메모리 사용량은 전체 파일이 아니라 가장 큰 레코드에 따라 달라집니다. 빈 줄은 거부되며, 마지막 줄의 줄바꿈 문자는 생략할 수 있습니다.

# jq: parse each line and stop on the first error; empty needs no -e
jq -R 'try (
  if startswith("\uFEFF") then error("UTF-8 BOM is not allowed")
  else fromjson end | empty
) catch halt_error(1)' data.jsonl && echo OK


# Python: reject non-standard constants and report the first broken line
python3 - <<'PYTHON'
import json
import sys


def reject_constant(value):
    raise ValueError(f"Invalid JSON constant: {value}")


with open("data.jsonl", "r", encoding="utf-8") as source:
    for line_number, line in enumerate(source, 1):
        try:
            json.loads(line, parse_constant=reject_constant)
        except ValueError as error:
            sys.exit(f"Line {line_number}: {error}")
print("OK")
PYTHON

이 검사는 필수 필드, 필드 타입 또는 OpenAI 학습 데이터 규칙을 검증하지 않습니다. 이런 항목에는 스키마 검증을 사용하세요. jq는 NaN과 Infinity를 비롯한 일부 비표준 숫자 리터럴을 허용합니다. 이를 거부해야 한다면 Python 예제를 사용하세요.

JSONL 검증이란?

JSONL 검증은 JSONL 파일의 각 줄이 구문적으로 올바른 JSON을 포함하는지 확인하는 과정입니다. 머신러닝 학습, API 배치 작업 또는 데이터 파이프라인 처리에 JSONL 파일을 사용하기 전에 반드시 필요합니다.

검증이 잡아내는 일반적인 문제에는 누락되거나 여분의 쉼표, 따옴표 없는 키, 후행 쉼표, 불일치하는 괄호, 잘못된 이스케이프 시퀀스, BOM 문자와 같은 인코딩 문제 등이 있습니다.

일반적인 사용 사례

데이터 품질 보증
데이터 손상을 방지하기 위해 데이터베이스나 분석 플랫폼에 가져오기 전에 JSONL 내보내기를 검증합니다.
ML 데이터셋 검증
업로드 전 OpenAI 파인튜닝 데이터셋과 Hugging Face 학습 데이터의 형식 정확성을 확인합니다.
데이터 파이프라인 디버깅
JSONL 로그 파일과 스트리밍 데이터 출력에서 잘못된 형식의 줄을 식별합니다.
업로드 전 확인
엄격한 형식 준수가 필요한 API에 업로드하기 전에 JSONL 파일을 검증합니다.
CI/CD 파이프라인 검증
CI/CD 파이프라인에 JSONL 검증 단계를 통합하여 잘못된 형식의 데이터 파일이 프로덕션 환경에 도달하기 전에 감지합니다.
스키마 일관성 검사
JSONL 파일의 모든 줄이 올바르게 파싱되는지 검증하고 레코드가 일관된 스키마 구조를 따르는지 시각적으로 확인합니다.

자주 묻는 질문

JSONL 검증은 어떤 항목을 확인하나요?

JSONL 검증은 파일의 비어 있지 않은 각 줄이 구문적으로 유효한 JSON인지 확인합니다. 올바른 괄호 매칭, 올바른 문자열 인용, 유효한 이스케이프 시퀀스 및 전체 JSON 구조를 검증합니다.

검증할 때 데이터는 안전하게 처리되나요?

네. 모든 검증은 브라우저에서 로컬로 이루어집니다. 서버로 전송되는 데이터가 없습니다. JSONL 콘텐츠는 기기를 떠나지 않습니다.

대용량 JSONL 파일도 검증할 수 있나요?

네. 검증기는 각 줄을 독립적으로 처리하므로 대용량 파일도 처리할 수 있습니다. 매우 큰 파일(100MB 이상)의 경우 검증에 몇 초가 걸릴 수 있습니다.

검증에 실패하면 어떻게 해야 하나요?

각 유효하지 않은 줄의 오류 세부 정보를 확인하세요. 일반적인 수정 사항에는 누락된 따옴표 추가, 후행 쉼표 제거, 올바른 괄호 매칭 확인 등이 있습니다. JSONL 포맷터를 사용하여 형식 문제를 식별하는 데 도움을 받을 수도 있습니다.

각 줄의 스키마가 일관적인지도 확인하나요?

검증기는 JSON 구문만 확인하며 스키마 일관성은 확인하지 않습니다. 각 줄은 유효한 JSON인지 독립적으로 검증됩니다. 스키마 검증의 경우 구문 검사 위에 JSON Schema 검증기를 추가로 사용해야 합니다.

NDJSON이나 확장자가 다른 JSON Lines 파일도 검증할 수 있나요?

네. 검증기는 .jsonl, .ndjson, .json, .txt 파일 확장자를 허용합니다. 확장자에 관계없이 내용은 동일하게 처리됩니다 — 비어 있지 않은 각 줄이 JSON으로 검증됩니다.

검증할 때 빈 줄이나 공백만 있는 줄은 어떻게 처리되나요?

빈 줄과 공백만 포함된 줄은 검증 중 자동으로 건너뜁니다. 오류로 간주되지 않으며 검증 보고서에 표시되지 않습니다. 이는 JSONL 사양을 따른 것입니다.

이 도구로 잘못된 JSONL을 자동으로 수정할 수 있나요?

검증기는 오류를 식별하고 보고하지만 자동으로 수정하지는 않습니다. 자동 수정은 의도된 데이터를 변경할 수 있습니다. 오류 세부 정보를 사용하여 각 문제를 수동으로 수정한 다음 다시 검증하여 모든 줄이 통과하는지 확인하세요.

관련 도구 및 가이드