작성자: Jerry Fan

대용량 JSONL 파일 처리 방법 (1GB 이상)

기가바이트 규모의 JSONL 데이터를 효율적으로 처리하기 위한 전략과 모범 사례

대용량 JSONL 파일에 특별한 처리가 필요한 이유

JSONL 파일 전체를 Python 딕셔너리나 JavaScript 객체로 파싱하면 디스크상의 파일 크기보다 훨씬 많은 메모리가 필요할 수 있습니다. 추가 메모리 사용량은 레코드 수, 필드 이름, 값, 런타임에 따라 달라집니다. 파일 크기의 일정 배수라고 가정하지 말고 대표적인 파일로 측정하세요.

일반 JSON 대비 JSONL의 핵심 장점은 줄 단위로 처리할 수 있다는 것입니다. 각 줄은 독립적인 JSON 문서이므로 전체 파일을 로드할 필요가 없습니다. 이 스트리밍 기능이 바로 JSONL이 머신러닝, 로그 분석, 데이터 엔지니어링에서 대용량 데이터셋의 선호 형식인 이유입니다.

스트림 읽기 전략

대용량 JSONL 파일을 처리하는 기본 접근 방식은 줄 단위로 읽고 각 레코드를 독립적으로 처리하는 것입니다. 인기 있는 언어와 도구에서의 구현 방법을 소개합니다.

Python의 파일 순회는 한 번에 한 줄씩 읽습니다. 메모리 사용량은 가장 큰 줄과 처리 코드가 보관하는 데이터에 따라 달라지며, 매우 큰 레코드 하나만으로도 메모리가 소진될 수 있습니다.

Python
import json


def process_large_jsonl(filepath: str) -> int:
    """Process a large JSONL file line by line."""
    count = 0
    errors = 0
    
    with open(filepath, 'r', encoding='utf-8') as f:
        for line_num, line in enumerate(f, 1):
            line = line.strip()
            if not line:
                continue
            try:
                record = json.loads(line)
                # Process your record here
                count += 1
            except json.JSONDecodeError as e:
                errors += 1
                print(f'Line {line_num}: {e}')
    
    print(f'Processed {count} records, {errors} errors')
    return count

Node.js의 readline 인터페이스는 스트림을 사용하여 줄 단위로 파일을 효율적으로 처리하는 방법을 제공하며, 수 기가바이트 파일에서도 메모리 사용량을 최소로 유지합니다.

Node.js
import { createReadStream } from 'fs';
import { createInterface } from 'readline';


async function processLargeJsonl(filepath) {
  const rl = createInterface({
    input: createReadStream(filepath, 'utf-8'),
    crlfDelay: Infinity,
  });


  let count = 0;
  for await (const line of rl) {
    const trimmed = line.trim();
    if (!trimmed) continue;
    try {
      const record = JSON.parse(trimmed);
      // Process your record here
      count++;
    } catch (err) {
      console.error(`Parse error: ${err.message}`);
    }
  }
  console.log(`Processed ${count} records`);
}

Unix 커맨드라인 도구는 코드를 작성하지 않고도 대용량 JSONL 파일을 빠르게 검사하고 처리하는 데 완벽합니다.

커맨드라인 도구
# Count lines in a JSONL file
wc -l data.jsonl


# View first 10 records
head -n 10 data.jsonl


# View last 5 records
tail -n 5 data.jsonl


# Pretty-print first record
head -n 1 data.jsonl | jq .


# Filter records with jq
jq -c 'select(.age > 30)' data.jsonl


# Extract specific fields
jq -c '{name, email}' data.jsonl

메모리 관리 기법

기본 줄 단위 읽기 외에도, 이 기법들은 대용량 JSONL 파일을 더 효율적으로 처리하는 데 도움이 됩니다.

메모리 사용량과 처리 효율성의 균형을 맞추기 위해 1,000~10,000개 단위로 레코드를 배치 처리합니다. 데이터베이스에 쓰거나 API 호출을 할 때 특히 유용합니다.

배치 처리
import json
from typing import Iterator


def read_jsonl_batches(
    filepath: str,
    batch_size: int = 5000
) -> Iterator[list]:
    batch = []
    with open(filepath, 'r') as f:
        for line in f:
            record = json.loads(line.strip())
            batch.append(record)
            if len(batch) >= batch_size:
                yield batch
                batch = []
    if batch:
        yield batch


# Usage
for batch in read_jsonl_batches('large.jsonl'):
    # Insert batch into database
    db.insert_many(batch)

처리 중 메모리 사용량을 모니터링하여 문제를 조기에 발견하고 배치 크기를 조정합니다.

메모리 모니터링
import json
import psutil
import os


def process_with_monitoring(filepath: str):
    process = psutil.Process(os.getpid())
    
    with open(filepath, 'r') as f:
        for i, line in enumerate(f):
            record = json.loads(line)
            # Process record
            
            if i % 100000 == 0:
                mem = process.memory_info().rss / 1024 / 1024
                print(f'Line {i:,}: {mem:.1f} MB')

대용량 JSONL 파일 분할

병렬 처리, 크기 제한이 있는 서비스에 업로드, 또는 여러 머신에 작업을 분산하기 위해 대용량 JSONL 파일을 더 작은 조각으로 분할해야 할 때가 있습니다.

줄이 중간에 잘리지 않도록 split -l을 사용하세요. 독립적으로 사용할 JSONL 조각을 만들 때는 split -b를 사용하지 마세요. 바이트 단위의 분할 경계가 JSON 레코드나 UTF-8 문자의 중간에 걸릴 수 있습니다. 아래 명령은 새 디렉터리를 만들며, 이미 존재하면 실행을 중단합니다.

split 명령어 사용
# Split into parts of 100,000 complete lines in a NEW directory
mkdir jsonl-parts &&
split -l 100000 data.jsonl jsonl-parts/chunk_ &&
for f in jsonl-parts/chunk_*; do
    [ -f "$f" ] || continue
    mv "$f" "$f.jsonl"
done

이 Python 대안은 줄 수를 기준으로 분할하며 UTF-8 문자와 줄바꿈 문자를 포함한 입력 바이트를 그대로 보존합니다. 새 출력 디렉터리를 만들고 기존 디렉터리 덮어쓰기를 거부합니다. 분할은 잘못된 레코드를 복구하지 않으므로 먼저 입력을 검증하세요.

Python 스크립트
from pathlib import Path


def split_jsonl(input_path, output_dir="jsonl-parts", lines_per_file=100000):
    if lines_per_file < 1:
        raise ValueError("lines_per_file must be positive")
    directory = Path(output_dir)
    file_num = 0
    output = None
    with open(input_path, "rb") as source:
        directory.mkdir()  # Refuse to overwrite an existing directory
        try:
            for line_number, line in enumerate(source):
                if line_number % lines_per_file == 0:
                    if output is not None:
                        output.close()
                    file_num += 1
                    output = (directory / f"part_{file_num:04d}.jsonl").open("xb")
                output.write(line)
        finally:
            if output is not None:
                output.close()
    print(f"Split into {file_num} files")


split_jsonl("data.jsonl")

압축 전략

레코드에서 필드 이름과 값이 반복되면 JSONL은 대체로 압축 효과가 좋습니다. 절감량은 데이터셋, 압축 수준, 코덱에 따라 달라집니다. 대표적인 샘플로 압축 후 크기와 처리 시간을 측정하세요.

Python의 gzip 모듈은 압축된 JSONL 파일을 투명하게 처리합니다. .gz 확장자는 도구가 자동으로 인식하는 관례입니다.

Gzip 압축 JSONL 읽기 및 쓰기
import gzip
import json


# Reading gzipped JSONL
with gzip.open('data.jsonl.gz', 'rt', encoding='utf-8') as f:
    for line in f:
        record = json.loads(line)
        # Process record


# Writing gzipped JSONL
with gzip.open('output.jsonl.gz', 'wt', encoding='utf-8') as f:
    for record in records:
        f.write(json.dumps(record) + '\n')

압축 비교

호환성과 실제 데이터에서 측정한 성능을 기준으로 코덱을 선택하세요. 다음은 선택 시 고려할 절충점이며, 벤치마크 결과가 아닙니다.

gzip: 널리 지원되며 압축된 JSONL을 주고받을 때 실용적인 선택입니다.

zstd: 압축 수준을 조정할 수 있습니다. 실제 워크로드에서 gzip과 크기 및 처리량을 비교하세요.

lz4: 빠른 압축과 압축 해제를 위해 설계되었습니다. 실제 데이터에서 속도와 파일 크기 간의 절충점을 측정하세요.

비압축: 압축 해제 작업은 필요 없지만 저장 공간을 더 많이 사용합니다. 바이트 단위로 직접 접근해야 할 때 유용합니다.

브라우저에서 대용량 파일 처리

jsonl.co는 브라우저에서 JSONL 파일을 로컬로 읽습니다. 뷰어는 파일을 청크 단위로 스캔하고 가상 스크롤을 사용하므로 모든 레코드를 한꺼번에 렌더링하지 않습니다. 파일 내용은 업로드되지 않습니다.

처리할 수 있는 파일 크기는 브라우저 메모리, 기기 리소스, 레코드 크기, 수행하는 작업에 따라 달라집니다. 입력을 스트림으로 읽는다고 해서 출력에 필요한 메모리가 일정 범위로 제한되는 것은 아닙니다. 예를 들어 Excel 변환은 행 데이터를 모으고 메모리에서 통합 문서를 만듭니다. 먼저 작은 샘플로 시도하고 필요하면 파일을 분할하세요.

온라인에서 대용량 JSONL 파일 처리하기

브라우저 뷰어로 JSONL을 로컬에서 확인하세요. 데이터가 더 많다면 파일을 분할하거나 위의 줄 단위 처리 스크립트를 사용하세요.

자주 묻는 질문

참고 자료