Autor: Jerry Fan

JSON a JSONL — czym się różnią?

Kompletny przewodnik po formatach JSON i JSONL (JSON Lines): czym się różnią i kiedy wybrać każdy z nich.

Porównanie w skrócie

CechaJSONJSONL (JSON Lines)
StrukturaPojedynczy obiekt lub tablicaJeden obiekt JSON w każdym wierszu
Rozszerzenie pliku.json.jsonl lub .ndjson
ParsowanieWymaga sparsowania całego plikuMożna parsować wiersz po wierszu
StrumieniowanieTrudneNatywna obsługa
Obsługa dużych plikówDuże zużycie pamięciOszczędne wykorzystanie pamięci
Czytelność dla człowiekaFormatowanie z wcięciamiZwarty zapis, jeden rekord w każdym wierszu
Walidacja względem schematuObsługa JSON SchemaJSON Schema dla każdego wiersza osobno
Dopisywanie danychWymaga ponownego zapisu całego plikuWystarczy dopisać nowy wiersz

Czym jest JSON?

JSON (JavaScript Object Notation) to lekki format wymiany danych, który człowiek może łatwo czytać i zapisywać, a program — parsować i generować. Bazuje na podzbiorze składni JavaScript i stał się de facto standardem wymiany danych w sieci.

Plik JSON zawiera jedną wartość JSON — zwykle obiekt lub tablicę. Aby uzyskać dostęp do zawartych w nim danych, trzeba sparsować cały plik jako jedną całość.

Przykład w formacie JSON
[
  {"name": "Alice", "age": 30, "city": "New York"},
  {"name": "Bob", "age": 25, "city": "London"},
  {"name": "Charlie", "age": 35, "city": "Tokyo"}
]

Czym jest JSONL (JSON Lines)?

JSONL (JSON Lines), znany również jako Newline Delimited JSON (NDJSON), to format tekstowy, w którym każdy wiersz zawiera poprawny obiekt JSON. Wiersze są rozdzielone znakami nowej linii (\n). W odróżnieniu od standardowego JSON dane nie są ujęte we wspólną tablicę ani obiekt.

Każdy wiersz pliku JSONL stanowi samodzielną całość i można go parsować niezależnie od pozostałych. Dzięki temu JSONL świetnie sprawdza się przy strumieniowaniu danych, zapisywaniu logów i przetwarzaniu dużych zbiorów danych bez wczytywania ich w całości do pamięci.

Przykład w formacie JSONL
{"name": "Alice", "age": 30, "city": "New York"}
{"name": "Bob", "age": 25, "city": "London"}
{"name": "Charlie", "age": 35, "city": "Tokyo"}

Najważniejsze różnice między JSON a JSONL

1. Format i struktura pliku

JSON

W formacie JSON wszystkie dane są ujęte w jeden obiekt lub jedną tablicę. Cały plik musi mieć poprawną składnię — brak nawiasu na końcu sprawia, że cały plik jest niepoprawny.

JSONL

JSONL przechowuje po jednym obiekcie JSON w każdym wierszu. Wiersze są od siebie niezależne — jeśli jeden zawiera błąd, pozostałe nadal można sparsować.

2. Parsowanie i zużycie pamięci

JSON

JSON wymaga wczytania i sparsowania całego pliku naraz. Sparsowanie pliku JSON o rozmiarze 1GB wymaga około 1GB+ pamięci.

JSONL

JSONL można odczytywać i parsować strumieniowo, wiersz po wierszu. Odczytując po jednym wierszu, można przetworzyć nawet plik JSONL o rozmiarze 10GB przy minimalnym zużyciu pamięci.

3. Strumieniowanie i dane w czasie rzeczywistym

JSON

JSON nie został zaprojektowany z myślą o strumieniowaniu. Przetwarzanie danych możesz rozpocząć dopiero po odebraniu i sparsowaniu całego pliku lub całej odpowiedzi.

JSONL

JSONL świetnie nadaje się do strumieniowania. Każdy wiersz można przetworzyć od razu po odebraniu, dlatego format ten doskonale sprawdza się w strumieniach danych w czasie rzeczywistym, logach i zdarzeniach wysyłanych przez serwer (server-sent events).

4. Dopisywanie i zapisywanie danych

JSON

Dopisanie danych do tablicy JSON wymaga odczytania i sparsowania całego pliku, dodania nowego elementu, a następnie ponownego zapisania całego pliku.

JSONL

Aby dopisać dane do pliku JSONL, wystarczy dodać nowy wiersz na końcu. Nie trzeba odczytywać ani modyfikować istniejących danych. Złożoność tej operacji to O(1), a w przypadku JSON — O(n).

5. Czytelność dla człowieka

JSON

JSON można formatować z wcięciami, co sprawia, że pliki konfiguracyjne i odpowiedzi API są bardzo czytelne.

JSONL

JSONL z założenia ma zwarty zapis — jeden rekord w każdym wierszu. Jest zoptymalizowany pod kątem przetwarzania przez programy, a nie czytania przez człowieka, choć poszczególne wiersze można sformatować w czytelny sposób.

Kiedy wybrać JSON, a kiedy JSONL?

JSONWybierz JSON, gdy:
  • Pracujesz z plikami konfiguracyjnymi
  • Tworzysz treść żądań i odpowiedzi REST API
  • Przechowujesz niewielkie ilości danych o określonej strukturze (poniżej 10MB)
  • Zależy Ci na tym, by dane były łatwe do odczytania i edycji przez człowieka
  • Pracujesz z zagnieżdżonymi, hierarchicznymi strukturami danych
  • Wymieniasz dane po stronie przeglądarki
JSONLWybierz JSONL, gdy:
  • Przetwarzasz duże zbiory danych (100MB+)
  • Strumieniujesz dane w czasie rzeczywistym
  • Zapisujesz logi i dane o zdarzeniach
  • Trenujesz modele uczenia maszynowego (OpenAI, Hugging Face)
  • Budujesz potoki ETL i przetwarzasz dane
  • Często dopisujesz dane
  • Przetwarzasz dane za pomocą narzędzi uniksowych (grep, awk, sed)

Typowe zastosowania

Uczenie maszynowe i AI

JSONL

JSONL to standardowy format danych treningowych w uczeniu maszynowym. OpenAI używa go do zbiorów danych na potrzeby fine-tuningu, a wiele frameworków ML oczekuje danych wejściowych w formacie JSONL. Każdy wiersz zawiera jeden przykład treningowy.

Zapisywanie logów aplikacji

JSONL

JSONL to naturalny wybór do zapisywania logów serwera, zdarzeń aplikacji i rejestrów audytowych. Każde zdarzenie zajmuje jeden wiersz, co ułatwia dopisywanie danych, wyszukiwanie za pomocą grep i przetwarzanie narzędziami strumieniowymi.

API internetowe i konfiguracja

JSON

REST API zazwyczaj używają JSON w treści żądań i odpowiedzi. W plikach konfiguracyjnych (.json) format ten pozwala czytelnie zapisywać ustawienia o określonej strukturze, również z zagnieżdżonymi obiektami.

Big Data i analityka

JSONL

Potoki danych, procesy ETL i narzędzia analityczne wykorzystują JSONL do przetwarzania dużych ilości danych. Każdy rekord można przetwarzać niezależnie, co umożliwia przetwarzanie równoległe i stosowanie wzorca MapReduce.

Przykłady kodu

Odczytywanie JSON w JavaScript
// Reading JSON - must load entire file
const data = JSON.parse(fs.readFileSync('data.json', 'utf8'));


// Access data
data.forEach(item => {
  console.log(item.name);
});
Odczytywanie JSONL w JavaScript
// Reading JSONL - stream line by line
import { createReadStream } from 'fs';
import { createInterface } from 'readline';


const rl = createInterface({
  input: createReadStream('data.jsonl')
});


for await (const line of rl) {
  const item = JSON.parse(line);
  console.log(item.name);
}
Konwersja z JSON na JSONL
// JSON array to JSONL
const jsonArray = JSON.parse(fs.readFileSync('data.json', 'utf8'));
const jsonl = jsonArray
  .map(item => JSON.stringify(item))
  .join('\n');
fs.writeFileSync('data.jsonl', jsonl);
Konwersja z JSONL na JSON
// JSONL to JSON array
const lines = fs.readFileSync('data.jsonl', 'utf8')
  .split('\n')
  .filter(line => line.trim());
const jsonArray = lines.map(line => JSON.parse(line));
fs.writeFileSync('data.json', JSON.stringify(jsonArray, null, 2));

Wypróbuj naszą przeglądarkę plików JSONL

Przeglądaj i edytuj pliki JSONL o rozmiarze do 1GB od razu w przeglądarce. Bez wysyłania plików na serwer i bez rejestracji.

Najczęściej zadawane pytania

Źródła