JSONL-tutorial: JSONL-bestanden maken, lezen en converteren
Een stapsgewijze tutorial met alles wat je moet weten om met JSONL-bestanden (JSON Lines) te werken. Met codevoorbeelden in Python en JavaScript en voorbeelden met CLI-tools.
Wat is JSONL?
JSONL (JSON Lines) is een lichtgewicht tekstformaat waarin elke regel een afzonderlijke, geldige JSON-waarde bevat. Bij standaard JSON staan alle gegevens in één array of object. JSONL slaat één record per regel op, met regeleindetekens (\n) als scheidingsteken.
Doordat elk record op een eigen regel staat, is JSONL ideaal om grote datasets te streamen, records toe te voegen zonder het bestand te herschrijven en gegevens parallel te verwerken. OpenAI gebruikt het veel voor datasets voor fine-tuning. Ook logsystemen zoals de ELK-stack en bigdatatools zoals BigQuery en Apache Spark maken er veel gebruik van.
{"id":1,"name":"Alice","role":"engineer"}
{"id":2,"name":"Bob","role":"designer"}
{"id":3,"name":"Charlie","role":"manager"}JSONL-bestanden maken
Een JSONL-bestand maken is eenvoudig: serialiseer elk record naar een JSON-string op één regel en schrijf die weg, gevolgd door een regeleindeteken. Hieronder vind je voorbeelden in de populairste programmeertalen.
import json
records = [
{"id": 1, "name": "Alice", "role": "engineer"},
{"id": 2, "name": "Bob", "role": "designer"},
{"id": 3, "name": "Charlie", "role": "manager"},
]
with open("output.jsonl", "w", encoding="utf-8") as f:
for record in records:
f.write(json.dumps(record, ensure_ascii=False) + "\n")
print("Created output.jsonl with", len(records), "records")import { writeFileSync } from 'fs';
const records = [
{ id: 1, name: 'Alice', role: 'engineer' },
{ id: 2, name: 'Bob', role: 'designer' },
{ id: 3, name: 'Charlie', role: 'manager' },
];
const jsonl = records
.map(record => JSON.stringify(record))
.join('\n');
writeFileSync('output.jsonl', jsonl + '\n', 'utf-8');
console.log(`Created output.jsonl with ${records.length} records`);Handmatig in een teksteditor
Je kunt JSONL-bestanden ook in elke teksteditor maken. Zet één geldig JSON-object per regel, zonder komma's tussen de regels, en sla het bestand op met de extensie .jsonl. Zorg dat elke regel een volledige, geldige JSON-waarde bevat.
JSONL-bestanden lezen
Elke regel bevat een zelfstandige JSON-waarde. Je kunt een JSONL-bestand dus eenvoudig lezen door de regels één voor één te doorlopen. Hieronder staan de meestgebruikte manieren.
import json
with open("data.jsonl", "r", encoding="utf-8") as f:
for line_number, line in enumerate(f, 1):
line = line.strip()
if not line:
continue # skip empty lines
record = json.loads(line)
print(f"Line {line_number}: {record['name']} - {record['role']}")import { createReadStream } from 'fs';
import { createInterface } from 'readline';
const rl = createInterface({
input: createReadStream('data.jsonl', 'utf-8'),
});
let lineNumber = 0;
for await (const line of rl) {
if (!line.trim()) continue; // skip empty lines
lineNumber++;
const record = JSON.parse(line);
console.log(`Line ${lineNumber}: ${record.name} - ${record.role}`);
}# Eerste 10 regels bekijken
head -n 10 data.jsonl
# Totaal aantal records tellen
wc -l data.jsonl
# Elke regel mooi afdrukken met jq
cat data.jsonl | jq .
# Records filteren waar role "engineer" is
cat data.jsonl | jq 'select(.role == "engineer")'
# Alleen het naamveld extraheren
cat data.jsonl | jq -r '.name'
# Zoeken naar regels die een trefwoord bevatten
grep '"Alice"' data.jsonlJSON naar JSONL converteren
Een standaard JSON-array converteer je naar JSONL door elk element op een aparte regel weg te schrijven. Dit is een van de meestvoorkomende bewerkingen met JSONL.
import json
# JSON-array lezen
with open("data.json", "r", encoding="utf-8") as f:
data = json.load(f) # expects a JSON array
# Als JSONL schrijven
with open("data.jsonl", "w", encoding="utf-8") as f:
for record in data:
f.write(json.dumps(record, ensure_ascii=False) + "\n")
print(f"Converted {len(data)} records from JSON to JSONL")import { readFileSync, writeFileSync } from 'fs';
// JSON-array lezen
const data = JSON.parse(readFileSync('data.json', 'utf-8'));
// Als JSONL schrijven
const jsonl = data
.map(record => JSON.stringify(record))
.join('\n');
writeFileSync('data.jsonl', jsonl + '\n', 'utf-8');
console.log(`Converted ${data.length} records from JSON to JSONL`);CSV naar JSONL converteren
Bij het converteren van CSV naar JSONL wordt elke rij een JSON-object, met de kolomnamen uit de CSV-header als veldnamen. Dit is handig als je tabelgegevens wilt omzetten naar een formaat dat geschikt is voor streaming of machine learning.
import csv
import json
with open("data.csv", "r", encoding="utf-8") as csv_file:
reader = csv.DictReader(csv_file)
with open("data.jsonl", "w", encoding="utf-8") as jsonl_file:
for row in reader:
jsonl_file.write(json.dumps(row, ensure_ascii=False) + "\n")
print("Converted CSV to JSONL successfully")import { readFileSync, writeFileSync } from 'fs';
const csv = readFileSync('data.csv', 'utf-8');
const lines = csv.trim().split('\n');
const headers = lines[0].split(',');
const jsonl = lines.slice(1).map(line => {
const values = line.split(',');
const obj = {};
headers.forEach((h, i) => obj[h.trim()] = values[i]?.trim());
return JSON.stringify(obj);
}).join('\n');
writeFileSync('data.jsonl', jsonl + '\n', 'utf-8');
console.log('Converted CSV to JSONL successfully');Best practices voor JSONL
Gebruik UTF-8-codering voor alle JSONL-bestanden. Zo werken je bestanden op verschillende platforms en worden internationale tekens ondersteund.
Zet precies één JSON-object op elke regel. Verdeel een JSON-object nooit over meerdere regels en zet nooit meerdere objecten op dezelfde regel.
Zet geen komma's tussen de regels. Anders dan bij JSON-arrays is het regeleindeteken bij JSONL het enige scheidingsteken.
Valideer elke regel afzonderlijk. Elke regel moet een volledige, geldige JSON-waarde bevatten. Gebruik een JSONL-validator om syntaxfouten vroeg op te sporen.
Lees grote bestanden als een stream. Verwerk het bestand regel voor regel met readline (Node.js) of door over het bestand te itereren (Python), zodat je het niet helemaal in het geheugen hoeft te laden.
Gebruik voor alle records dezelfde structuur. JSONL staat weliswaar verschillende schema's per regel toe, maar met een uniforme structuur kun je de gegevens veel eenvoudiger verwerken.
Vermijd witruimte aan het einde van regels. Zorg dat er geen overbodige spaties of tabs staan die problemen bij het parsen kunnen veroorzaken.
Sluit het bestand af met een regeleindeteken. Met een regeleindeteken na het laatste record kunnen tools zoals wc en cat het bestand correct verwerken.
Veelvoorkomende JSONL-fouten
[
{"name":"Alice"},
{"name":"Bob"}
]{"name":"Alice"}
{"name":"Bob"}JSONL is geen JSON-array. Zet de regels niet tussen vierkante haken en plaats er geen komma's tussen. Elke regel staat op zichzelf.
{"name":"Alice"},
{"name":"Bob"},{"name":"Alice"}
{"name":"Bob"}Komma's aan het einde van regels of tussen regels zijn niet toegestaan in JSONL. Het regeleindeteken is het enige scheidingsteken.
{
"name": "Alice",
"age": 30
}{"name":"Alice","age":30}Elk JSON-object moet op één regel passen. JSON die voor de leesbaarheid is opgemaakt met inspringing en regeleinden is geen geldige JSONL.
{"text":"She said "hello""}{"text":"She said \"hello\""}Aanhalingstekens en speciale tekens in JSON-strings moet je correct escapen met backslashes. Als je aanhalingstekens niet escapet, kan de JSON-parser de JSON niet verwerken.
Valideer je JSONL
Valideer je JSONL-bestand nadat je het hebt gemaakt om syntaxfouten vroeg op te sporen. Onze gratis validator controleert elke regel direct.
Valideer JSONL-bestanden regel voor regel. Spoor syntaxfouten, tekencoderingsproblemen en fouten in het formaat direct op.
Maak JSONL-bestanden overzichtelijk met de juiste inspringing. Dat maakt debuggen en het controleren van data eenvoudiger.
Zet JSON-arrays om naar JSONL. Ideaal om data voor te bereiden voor streaming en ML-training.
Exporteer JSONL-data naar CSV-spreadsheets voor analyse in Excel of Google Sheets.
Een complete handleiding om met JSONL-bestanden in Python te werken. Leer JSONL lezen, schrijven en parsen met json, pandas en orjson, en gebruik streaming voor grote bestanden.