JSONL 병합기

cat file1.jsonl file2.jsonl이 데이터를 손상시킬 수 있는 이유

이어 붙이기는 JSONL을 병합하는 가장 당연한 방법처럼 보이며, 실제로 한 파일에 마지막 줄바꿈이 없기 전까지는 잘 작동합니다. 마지막 줄바꿈이 없으면 한 파일의 마지막 레코드와 다음 파일의 첫 레코드가 하나의 유효하지 않은 줄로 합쳐집니다.

# file1.jsonl이 마지막 줄바꿈 없이 끝남:
{"id": 1}
{"id": 2}⏎missing

# file2.jsonl:
{"id": 3}

# cat file1.jsonl file2.jsonl의 결과:
{"id": 1}
{"id": 2}{"id": 3}   ← one broken line: parse error, two records lost

이 도구는 모든 입력의 마지막 바이트를 확인하고 이어 붙이기 전에 누락된 줄바꿈을 삽입합니다. 따라서 입력 파일이 어떤 방식으로 저장되었든 병합된 출력은 항상 유효합니다. 파이프라인에서 cat을 사용해야 한다면 안전한 형식은 awk 1 file1.jsonl file2.jsonl입니다(awk가 모든 줄의 끝에 줄바꿈을 다시 추가합니다).

JSONL 파일 병합 방법

여러 JSONL 파일을 업로드 영역에 선택하거나 드래그 앤 드롭하세요. 각 파일은 브라우저에서 완전히 읽히며 서버로 전송되는 데이터가 없습니다. .jsonl, .ndjson, .json 또는 .txt 형식의 파일을 사용할 수 있습니다.

업로드 후 위/아래 화살표를 사용하여 파일 순서를 변경하여 병합 순서를 제어할 수 있습니다. 전체 콘텐츠 기반으로 중복 줄을 제거하려면 중복 제거를 활성화하거나, 유효하지 않은 JSON 줄을 건너뛰려면 JSON 검증을 활성화하세요.

병합된 출력은 처음 100줄을 보여주는 미리보기 패널에 표시됩니다. 전체 병합된 파일을 .jsonl 파일로 다운로드하거나 클립보드에 복사할 수 있습니다. 통계에는 총 줄 수, 파일 크기, 제거된 중복 항목 또는 유효하지 않은 줄이 표시됩니다.

정확한 병합 동작

순서

파일은 추가한 순서대로 이어 붙여지며, 각 파일 안의 레코드 순서도 유지됩니다. 병합은 추가 전용입니다. 레코드를 재정렬하거나 다시 쓰거나 재포맷하지 않습니다.

경계 복구

입력 파일 끝에 마지막 줄바꿈이 없으면 자동으로 추가합니다(위 예시 참조). 일부 소비자가 빈 줄을 거부하므로 레코드 사이의 빈 줄은 제거합니다.

중복 제거: 줄 단위 완전 일치

선택 사항입니다. 원시 줄이 바이트 단위로 완전히 같을 때만 두 레코드를 중복으로 간주합니다. {"a":1,"b":2}와 {"b":2,"a":1}은 JSON 값이 같더라도 키 순서 때문에 줄이 다르므로 중복 제거되지 않습니다. 값 수준의 중복 제거가 필요하다면 먼저 포맷터의 키 정렬 옵션으로 정규화하세요.

분할 도구와의 왕복 처리

병합은 분할의 정확한 역연산입니다. 파일을 N개의 청크로 분할한 뒤 순서대로 다시 병합하면 결과는 원본과 바이트 단위로 동일합니다(중복 제거를 끈 경우). 이 특성 덕분에 분할 → 병렬 처리 → 병합을 안전한 파이프라인 패턴으로 사용할 수 있습니다.

JSONL 병합이란?

JSONL 병합은 여러 JSONL(JSON Lines) 파일을 단일 파일로 결합하는 과정입니다. 각 입력 파일에는 줄당 하나의 JSON 객체가 포함되어 있으며, 병합기는 지정한 순서를 유지하면서 모든 파일의 모든 줄을 하나의 출력 파일로 연결합니다.

여러 파일에 걸쳐 분할된 데이터셋(훈련 데이터 샤드, 일별 로그 내보내기, 청크된 API 응답 등)을 작업할 때 필수적입니다. 병합은 단일 JSONL 입력을 기대하는 플랫폼에 업로드하거나 더 쉬운 처리 및 분석을 위해 이들을 단일 파일로 통합합니다.

일반적인 오류 및 해결 방법

자주 묻는 질문