CSV → JSONL 변환기

CSV를 JSONL로 변환하는 방법

CSV → JSONL 변환은 CSV 파일의 첫 번째 행을 열 헤더로 읽은 다음 이후 각 행을 해당 헤더를 키로 사용하는 JSON 객체로 변환합니다.

당사의 변환기는 구분자(쉼표, 탭 또는 세미콜론)를 자동으로 감지하고 쉼표나 줄바꿈을 포함하는 필드를 포함하여 인용된 필드를 처리합니다. 값은 자동으로 타입이 지정됩니다 — 숫자, 불리언 및 null이 감지됩니다.

출력은 줄당 하나의 압축된 JSON 객체가 있는 유효한 JSONL 형식이며, 머신러닝 플랫폼, 데이터 파이프라인 및 API에서 바로 사용할 수 있습니다.

타입 추론 규칙

CSV 셀은 그저 텍스트일 뿐이므로, 이를 쓸모 있는 JSON으로 바꾸려면 타입을 추측해야 합니다. 변환기는 다음 규칙을 따르며, 추측이 데이터를 망가뜨릴 수 있는 경우의 우회 방법도 함께 안내합니다.

숫자 → number

42나 3.14 같은 셀은 JSON 숫자가 됩니다. 함정은 숫자처럼 보이지만 숫자가 아닌 값입니다. 미국 우편번호 00501은 숫자 501이 되면서 앞자리 0을 잃습니다. 앞자리 0이나 정확한 텍스트가 중요한 값은 소스에서 따옴표로 감싸두거나 문자열 열로 유지해야 합니다.

true/false → boolean

대소문자를 구분하지 않는 true와 false는 JSON 불리언이 됩니다. yes, no, 0, 1 문자열은 그대로 둡니다. 이런 값의 의도를 추측하면 고치는 것보다 만드는 버그가 더 많기 때문입니다.

빈 셀 → null

빈 셀은 빈 문자열이 아니라 JSON null이 됩니다. 다운스트림 코드에서 "" 비교 대신 단순한 null 체크만으로 처리할 수 있습니다.

따옴표 필드, 쉼표, 내장 줄바꿈

표준 CSV 인용 규칙을 준수합니다. 따옴표로 감싼 필드는 쉼표는 물론 줄바꿈까지 포함할 수 있고, 이중 따옴표("")는 따옴표 한 글자로 해석됩니다. 줄바꿈이 포함된 필드도 하나의 JSONL 줄이 되며, 줄바꿈은 JSON 문자열 내에서 \n으로 이스케이프됩니다.

일반적인 오류 및 해결 방법

CSV → JSONL 변환이란?

CSV → JSONL 변환은 스프레드시트와 데이터베이스의 표 형식 데이터를 JSON Lines 형식으로 변환합니다. CSV의 각 행은 자체 줄에 별도의 JSON 객체가 되며, 열 헤더가 키 이름으로 사용됩니다.

이 변환은 스프레드시트 데이터를 머신러닝 학습(OpenAI, Hugging Face)에 준비하거나, NoSQL 데이터베이스에 데이터를 로드하거나, 구조화된 데이터를 스트리밍 파이프라인에 공급하는 데 필수적입니다.

pandas에서 동일한 변환하기

CSV가 이미 Python 파이프라인 안에 있다면 pandas가 두 번의 호출로 이 변환을 수행하며, dtype 추론도 위에서 설명한 것과 같은 직관을 따릅니다.

import pandas as pd

df = pd.read_csv('input.csv', dtype={'zip': 'string'})  # 우편번호 보호
df.to_json('output.jsonl', orient='records', lines=True, force_ascii=False)

dtype 인자는 앞자리 0 규칙의 pandas 버전입니다. 추론에 맡기는 대신 깨지기 쉬운 열을 명시적으로 문자열로 선언하세요. force_ascii=False는 비 ASCII 텍스트를 \u 이스케이프 대신 읽을 수 있는 형태로 유지합니다.

자주 묻는 질문