Konwerter CSV do JSONL

Jak przekonwertować CSV do JSONL

Konwersja CSV do JSONL odczytuje pierwszy wiersz pliku CSV jako nagłówki kolumn, a następnie konwertuje każdy kolejny wiersz w obiekt JSON z tymi nagłówkami jako kluczami.

Nasz konwerter automatycznie wykrywa separator (przecinek, tabulator lub średnik) i obsługuje pola w cudzysłowach, w tym pola zawierające przecinki lub znaki nowej linii. Wartości są automatycznie typowane — wykrywane są liczby, wartości logiczne i null.

Wyjście jest w prawidłowym formacie JSONL z jednym kompaktowym obiektem JSON na linię, gotowe do użycia z platformami uczenia maszynowego, potokami danych i API.

Reguły wnioskowania typów

Komórka CSV jest wyłącznie tekstem; przekształcenie jej w użyteczną wartość JSON wymaga odgadnięcia typu. Konwerter stosuje poniższe reguły i wskazuje, jak je zastąpić, gdy automatyczne rozpoznanie mogłoby zniszczyć dane:

Cyfry → liczba

Komórki takie jak 42 lub 3.14 stają się liczbami JSON. Pułapką są wartości wyglądające jak liczby, choć nimi nie są — amerykański kod pocztowy 00501 utraciłby zera wiodące i stał się liczbą 501. Wszystko, w czym zera wiodące lub dokładna postać tekstowa mają znaczenie, powinno pozostać ujęte w cudzysłowy w źródle albo zostać zachowane jako kolumna tekstowa.

true/false → wartość logiczna

Wartości true i false, niezależnie od wielkości liter, stają się wartościami logicznymi JSON. Ciągi yes, no, 0 i 1 pozostają bez zmian — odgadywanie intencji w tych przypadkach powoduje więcej błędów, niż naprawia.

Pusta komórka → null

Puste komórki stają się wartością JSON null, a nie pustymi ciągami znaków — kod przetwarzający dane może wtedy użyć prostego sprawdzenia wartości null zamiast porównywać ją z "".

Pola cytowane, przecinki i osadzone znaki nowej linii

Standardowe reguły cytowania CSV są respektowane: pole ujęte w cudzysłowy może zawierać przecinki, a nawet znaki końca wiersza, zaś podwojone cudzysłowy ("") są zamieniane na jeden znak cudzysłowu. Pole z osadzonym znakiem nowej linii nadal staje się pojedynczą linią JSONL — znak nowej linii jest zapisywany jako \n wewnątrz ciągu JSON.

Częste błędy i rozwiązania

Czym jest konwersja CSV do JSONL?

Konwersja CSV do JSONL przekształca dane tabelaryczne z arkuszy kalkulacyjnych i baz danych w format JSON Lines. Każdy wiersz CSV staje się osobnym obiektem JSON w osobnej linii, z nagłówkami kolumn używanymi jako nazwy kluczy.

Ta konwersja jest niezbędna do przygotowywania danych z arkuszy kalkulacyjnych do trenowania modeli uczenia maszynowego (OpenAI, Hugging Face), ładowania danych do baz NoSQL oraz zasilania strumieni danych strukturalnymi danymi.

Ta sama konwersja w pandas

Jeśli plik CSV jest już częścią potoku w Pythonie, pandas wykonuje tę konwersję w dwóch wywołaniach, a jego wnioskowanie dtype odpowiada intuicji opisanej powyżej:

import pandas as pd

df = pd.read_csv('input.csv', dtype={'zip': 'string'})  # protect ZIP codes
df.to_json('output.jsonl', orient='records', lines=True, force_ascii=False)

Argument dtype jest w pandas odpowiednikiem reguły dotyczącej zer wiodących: wrażliwe kolumny należy jawnie zadeklarować jako ciągi znaków, zamiast polegać na wnioskowaniu. force_ascii=False zachowuje czytelność tekstu spoza ASCII, zamiast zapisywać go z sekwencjami \u.

Najczęściej zadawane pytania