- Strona główna
- Przewodnik
- JSON a JSONL — czym się różnią?
JSON a JSONL — czym się różnią?
Kompletny przewodnik po formatach JSON i JSONL (JSON Lines): czym się różnią i kiedy wybrać każdy z nich.
Porównanie w skrócie
| Cecha | JSON | JSONL (JSON Lines) |
|---|---|---|
| Struktura | Pojedynczy obiekt lub tablica | Jeden obiekt JSON w każdym wierszu |
| Rozszerzenie pliku | .json | .jsonl lub .ndjson |
| Parsowanie | Wymaga sparsowania całego pliku | Można parsować wiersz po wierszu |
| Strumieniowanie | Trudne | Natywna obsługa |
| Obsługa dużych plików | Duże zużycie pamięci | Oszczędne wykorzystanie pamięci |
| Czytelność dla człowieka | Formatowanie z wcięciami | Zwarty zapis, jeden rekord w każdym wierszu |
| Walidacja względem schematu | Obsługa JSON Schema | JSON Schema dla każdego wiersza osobno |
| Dopisywanie danych | Wymaga ponownego zapisu całego pliku | Wystarczy dopisać nowy wiersz |
Czym jest JSON?
JSON (JavaScript Object Notation) to lekki format wymiany danych, który człowiek może łatwo czytać i zapisywać, a program — parsować i generować. Bazuje na podzbiorze składni JavaScript i stał się de facto standardem wymiany danych w sieci.
Plik JSON zawiera jedną wartość JSON — zwykle obiekt lub tablicę. Aby uzyskać dostęp do zawartych w nim danych, trzeba sparsować cały plik jako jedną całość.
[
{"name": "Alice", "age": 30, "city": "New York"},
{"name": "Bob", "age": 25, "city": "London"},
{"name": "Charlie", "age": 35, "city": "Tokyo"}
]Czym jest JSONL (JSON Lines)?
JSONL (JSON Lines), znany również jako Newline Delimited JSON (NDJSON), to format tekstowy, w którym każdy wiersz zawiera poprawny obiekt JSON. Wiersze są rozdzielone znakami nowej linii (\n). W odróżnieniu od standardowego JSON dane nie są ujęte we wspólną tablicę ani obiekt.
Każdy wiersz pliku JSONL stanowi samodzielną całość i można go parsować niezależnie od pozostałych. Dzięki temu JSONL świetnie sprawdza się przy strumieniowaniu danych, zapisywaniu logów i przetwarzaniu dużych zbiorów danych bez wczytywania ich w całości do pamięci.
{"name": "Alice", "age": 30, "city": "New York"}
{"name": "Bob", "age": 25, "city": "London"}
{"name": "Charlie", "age": 35, "city": "Tokyo"}Najważniejsze różnice między JSON a JSONL
1. Format i struktura pliku
W formacie JSON wszystkie dane są ujęte w jeden obiekt lub jedną tablicę. Cały plik musi mieć poprawną składnię — brak nawiasu na końcu sprawia, że cały plik jest niepoprawny.
JSONL przechowuje po jednym obiekcie JSON w każdym wierszu. Wiersze są od siebie niezależne — jeśli jeden zawiera błąd, pozostałe nadal można sparsować.
2. Parsowanie i zużycie pamięci
JSON wymaga wczytania i sparsowania całego pliku naraz. Sparsowanie pliku JSON o rozmiarze 1GB wymaga około 1GB+ pamięci.
JSONL można odczytywać i parsować strumieniowo, wiersz po wierszu. Odczytując po jednym wierszu, można przetworzyć nawet plik JSONL o rozmiarze 10GB przy minimalnym zużyciu pamięci.
3. Strumieniowanie i dane w czasie rzeczywistym
JSON nie został zaprojektowany z myślą o strumieniowaniu. Przetwarzanie danych możesz rozpocząć dopiero po odebraniu i sparsowaniu całego pliku lub całej odpowiedzi.
JSONL świetnie nadaje się do strumieniowania. Każdy wiersz można przetworzyć od razu po odebraniu, dlatego format ten doskonale sprawdza się w strumieniach danych w czasie rzeczywistym, logach i zdarzeniach wysyłanych przez serwer (server-sent events).
4. Dopisywanie i zapisywanie danych
Dopisanie danych do tablicy JSON wymaga odczytania i sparsowania całego pliku, dodania nowego elementu, a następnie ponownego zapisania całego pliku.
Aby dopisać dane do pliku JSONL, wystarczy dodać nowy wiersz na końcu. Nie trzeba odczytywać ani modyfikować istniejących danych. Złożoność tej operacji to O(1), a w przypadku JSON — O(n).
5. Czytelność dla człowieka
JSON można formatować z wcięciami, co sprawia, że pliki konfiguracyjne i odpowiedzi API są bardzo czytelne.
JSONL z założenia ma zwarty zapis — jeden rekord w każdym wierszu. Jest zoptymalizowany pod kątem przetwarzania przez programy, a nie czytania przez człowieka, choć poszczególne wiersze można sformatować w czytelny sposób.
Kiedy wybrać JSON, a kiedy JSONL?
- Pracujesz z plikami konfiguracyjnymi
- Tworzysz treść żądań i odpowiedzi REST API
- Przechowujesz niewielkie ilości danych o określonej strukturze (poniżej 10MB)
- Zależy Ci na tym, by dane były łatwe do odczytania i edycji przez człowieka
- Pracujesz z zagnieżdżonymi, hierarchicznymi strukturami danych
- Wymieniasz dane po stronie przeglądarki
- Przetwarzasz duże zbiory danych (100MB+)
- Strumieniujesz dane w czasie rzeczywistym
- Zapisujesz logi i dane o zdarzeniach
- Trenujesz modele uczenia maszynowego (OpenAI, Hugging Face)
- Budujesz potoki ETL i przetwarzasz dane
- Często dopisujesz dane
- Przetwarzasz dane za pomocą narzędzi uniksowych (grep, awk, sed)
Typowe zastosowania
Uczenie maszynowe i AI
JSONLJSONL to standardowy format danych treningowych w uczeniu maszynowym. OpenAI używa go do zbiorów danych na potrzeby fine-tuningu, a wiele frameworków ML oczekuje danych wejściowych w formacie JSONL. Każdy wiersz zawiera jeden przykład treningowy.
Zapisywanie logów aplikacji
JSONLJSONL to naturalny wybór do zapisywania logów serwera, zdarzeń aplikacji i rejestrów audytowych. Każde zdarzenie zajmuje jeden wiersz, co ułatwia dopisywanie danych, wyszukiwanie za pomocą grep i przetwarzanie narzędziami strumieniowymi.
API internetowe i konfiguracja
JSONREST API zazwyczaj używają JSON w treści żądań i odpowiedzi. W plikach konfiguracyjnych (.json) format ten pozwala czytelnie zapisywać ustawienia o określonej strukturze, również z zagnieżdżonymi obiektami.
Big Data i analityka
JSONLPotoki danych, procesy ETL i narzędzia analityczne wykorzystują JSONL do przetwarzania dużych ilości danych. Każdy rekord można przetwarzać niezależnie, co umożliwia przetwarzanie równoległe i stosowanie wzorca MapReduce.
Przykłady kodu
// Reading JSON - must load entire file
const data = JSON.parse(fs.readFileSync('data.json', 'utf8'));
// Access data
data.forEach(item => {
console.log(item.name);
});// Reading JSONL - stream line by line
import { createReadStream } from 'fs';
import { createInterface } from 'readline';
const rl = createInterface({
input: createReadStream('data.jsonl')
});
for await (const line of rl) {
const item = JSON.parse(line);
console.log(item.name);
}// JSON array to JSONL
const jsonArray = JSON.parse(fs.readFileSync('data.json', 'utf8'));
const jsonl = jsonArray
.map(item => JSON.stringify(item))
.join('\n');
fs.writeFileSync('data.jsonl', jsonl);// JSONL to JSON array
const lines = fs.readFileSync('data.jsonl', 'utf8')
.split('\n')
.filter(line => line.trim());
const jsonArray = lines.map(line => JSON.parse(line));
fs.writeFileSync('data.json', JSON.stringify(jsonArray, null, 2));Konwertuj pliki JSON i JSONL online
Skorzystaj z naszych bezpłatnych narzędzi online, aby błyskawicznie konwertować dane między formatami JSON i JSONL — bez instalowania czegokolwiek.
Konwertuj pliki JSONL na standardową tablicę JSON. To idealne rozwiązanie do pracy z API i pipeline’ami przetwarzania danych.
Konwertuj tablice JSON na JSONL. To idealny sposób na przygotowanie danych do przetwarzania strumieniowego i trenowania modeli ML.
Dowiedz się, czym jest JSONL (JSON Lines), czym różni się od zwykłego JSON i dlaczego jest tak chętnie wybierany do strumieniowego przetwarzania danych, zapisywania logów i przechowywania zbiorów danych do uczenia maszynowego.
Poznaj dobre praktyki pracy z JSONL: formatowanie, spójność schematu, obsługę błędów, optymalizację wydajności i organizację plików. Praktyczne przykłady pomogą Ci uniknąć typowych pułapek.
Sposoby przetwarzania gigabajtów danych JSONL: odczyt strumieniowy, zarządzanie pamięcią, dzielenie plików, kompresja i narzędzia online.