Door Jerry Fan

JSONL-tutorial: JSONL-bestanden maken, lezen en converteren

Een stapsgewijze tutorial met alles wat je moet weten om met JSONL-bestanden (JSON Lines) te werken. Met codevoorbeelden in Python en JavaScript en voorbeelden met CLI-tools.

Wat is JSONL?

JSONL (JSON Lines) is een lichtgewicht tekstformaat waarin elke regel een afzonderlijke, geldige JSON-waarde bevat. Bij standaard JSON staan alle gegevens in één array of object. JSONL slaat één record per regel op, met regeleindetekens (\n) als scheidingsteken.

Doordat elk record op een eigen regel staat, is JSONL ideaal om grote datasets te streamen, records toe te voegen zonder het bestand te herschrijven en gegevens parallel te verwerken. OpenAI gebruikt het veel voor datasets voor fine-tuning. Ook logsystemen zoals de ELK-stack en bigdatatools zoals BigQuery en Apache Spark maken er veel gebruik van.

example.jsonl
{"id":1,"name":"Alice","role":"engineer"}
{"id":2,"name":"Bob","role":"designer"}
{"id":3,"name":"Charlie","role":"manager"}

JSONL-bestanden maken

Een JSONL-bestand maken is eenvoudig: serialiseer elk record naar een JSON-string op één regel en schrijf die weg, gevolgd door een regeleindeteken. Hieronder vind je voorbeelden in de populairste programmeertalen.

Python
import json


records = [
    {"id": 1, "name": "Alice", "role": "engineer"},
    {"id": 2, "name": "Bob", "role": "designer"},
    {"id": 3, "name": "Charlie", "role": "manager"},
]


with open("output.jsonl", "w", encoding="utf-8") as f:
    for record in records:
        f.write(json.dumps(record, ensure_ascii=False) + "\n")


print("Created output.jsonl with", len(records), "records")
JavaScript / Node.js
import { writeFileSync } from 'fs';


const records = [
  { id: 1, name: 'Alice', role: 'engineer' },
  { id: 2, name: 'Bob', role: 'designer' },
  { id: 3, name: 'Charlie', role: 'manager' },
];


const jsonl = records
  .map(record => JSON.stringify(record))
  .join('\n');


writeFileSync('output.jsonl', jsonl + '\n', 'utf-8');
console.log(`Created output.jsonl with ${records.length} records`);

Handmatig in een teksteditor

Je kunt JSONL-bestanden ook in elke teksteditor maken. Zet één geldig JSON-object per regel, zonder komma's tussen de regels, en sla het bestand op met de extensie .jsonl. Zorg dat elke regel een volledige, geldige JSON-waarde bevat.

JSONL-bestanden lezen

Elke regel bevat een zelfstandige JSON-waarde. Je kunt een JSONL-bestand dus eenvoudig lezen door de regels één voor één te doorlopen. Hieronder staan de meestgebruikte manieren.

Python
import json


with open("data.jsonl", "r", encoding="utf-8") as f:
    for line_number, line in enumerate(f, 1):
        line = line.strip()
        if not line:
            continue  # skip empty lines
        record = json.loads(line)
        print(f"Line {line_number}: {record['name']} - {record['role']}")
JavaScript / Node.js
import { createReadStream } from 'fs';
import { createInterface } from 'readline';


const rl = createInterface({
  input: createReadStream('data.jsonl', 'utf-8'),
});


let lineNumber = 0;
for await (const line of rl) {
  if (!line.trim()) continue; // skip empty lines
  lineNumber++;
  const record = JSON.parse(line);
  console.log(`Line ${lineNumber}: ${record.name} - ${record.role}`);
}
Commandline (grep / jq)
# Eerste 10 regels bekijken
head -n 10 data.jsonl


# Totaal aantal records tellen
wc -l data.jsonl


# Elke regel mooi afdrukken met jq
cat data.jsonl | jq .


# Records filteren waar role "engineer" is
cat data.jsonl | jq 'select(.role == "engineer")'


# Alleen het naamveld extraheren
cat data.jsonl | jq -r '.name'


# Zoeken naar regels die een trefwoord bevatten
grep '"Alice"' data.jsonl

JSON naar JSONL converteren

Een standaard JSON-array converteer je naar JSONL door elk element op een aparte regel weg te schrijven. Dit is een van de meestvoorkomende bewerkingen met JSONL.

Python
import json


# JSON-array lezen
with open("data.json", "r", encoding="utf-8") as f:
    data = json.load(f)  # expects a JSON array


# Als JSONL schrijven
with open("data.jsonl", "w", encoding="utf-8") as f:
    for record in data:
        f.write(json.dumps(record, ensure_ascii=False) + "\n")


print(f"Converted {len(data)} records from JSON to JSONL")
JavaScript / Node.js
import { readFileSync, writeFileSync } from 'fs';


// JSON-array lezen
const data = JSON.parse(readFileSync('data.json', 'utf-8'));


// Als JSONL schrijven
const jsonl = data
  .map(record => JSON.stringify(record))
  .join('\n');


writeFileSync('data.jsonl', jsonl + '\n', 'utf-8');
console.log(`Converted ${data.length} records from JSON to JSONL`);

Online converteren

Wil je geen code schrijven? Gebruik onze gratis online converter van JSON naar JSONL. Plak of upload je bestand en converteer het direct.

CSV naar JSONL converteren

Bij het converteren van CSV naar JSONL wordt elke rij een JSON-object, met de kolomnamen uit de CSV-header als veldnamen. Dit is handig als je tabelgegevens wilt omzetten naar een formaat dat geschikt is voor streaming of machine learning.

Python
import csv
import json


with open("data.csv", "r", encoding="utf-8") as csv_file:
    reader = csv.DictReader(csv_file)
    with open("data.jsonl", "w", encoding="utf-8") as jsonl_file:
        for row in reader:
            jsonl_file.write(json.dumps(row, ensure_ascii=False) + "\n")


print("Converted CSV to JSONL successfully")
JavaScript / Node.js
import { readFileSync, writeFileSync } from 'fs';


const csv = readFileSync('data.csv', 'utf-8');
const lines = csv.trim().split('\n');
const headers = lines[0].split(',');


const jsonl = lines.slice(1).map(line => {
  const values = line.split(',');
  const obj = {};
  headers.forEach((h, i) => obj[h.trim()] = values[i]?.trim());
  return JSON.stringify(obj);
}).join('\n');


writeFileSync('data.jsonl', jsonl + '\n', 'utf-8');
console.log('Converted CSV to JSONL successfully');

CSV online converteren

Converteer CSV-bestanden direct naar JSONL met onze gratis online tool. Je hoeft geen code te schrijven.

Best practices voor JSONL

1

Gebruik UTF-8-codering voor alle JSONL-bestanden. Zo werken je bestanden op verschillende platforms en worden internationale tekens ondersteund.

2

Zet precies één JSON-object op elke regel. Verdeel een JSON-object nooit over meerdere regels en zet nooit meerdere objecten op dezelfde regel.

3

Zet geen komma's tussen de regels. Anders dan bij JSON-arrays is het regeleindeteken bij JSONL het enige scheidingsteken.

4

Valideer elke regel afzonderlijk. Elke regel moet een volledige, geldige JSON-waarde bevatten. Gebruik een JSONL-validator om syntaxfouten vroeg op te sporen.

5

Lees grote bestanden als een stream. Verwerk het bestand regel voor regel met readline (Node.js) of door over het bestand te itereren (Python), zodat je het niet helemaal in het geheugen hoeft te laden.

6

Gebruik voor alle records dezelfde structuur. JSONL staat weliswaar verschillende schema's per regel toe, maar met een uniforme structuur kun je de gegevens veel eenvoudiger verwerken.

7

Vermijd witruimte aan het einde van regels. Zorg dat er geen overbodige spaties of tabs staan die problemen bij het parsen kunnen veroorzaken.

8

Sluit het bestand af met een regeleindeteken. Met een regeleindeteken na het laatste record kunnen tools zoals wc en cat het bestand correct verwerken.

Veelvoorkomende JSONL-fouten

Alles in een array plaatsen
Fout
[
  {"name":"Alice"},
  {"name":"Bob"}
]
Goed
{"name":"Alice"}
{"name":"Bob"}

JSONL is geen JSON-array. Zet de regels niet tussen vierkante haken en plaats er geen komma's tussen. Elke regel staat op zichzelf.

Komma's tussen regels
Fout
{"name":"Alice"},
{"name":"Bob"},
Goed
{"name":"Alice"}
{"name":"Bob"}

Komma's aan het einde van regels of tussen regels zijn niet toegestaan in JSONL. Het regeleindeteken is het enige scheidingsteken.

JSON-objecten over meerdere regels verdelen
Fout
{
  "name": "Alice",
  "age": 30
}
Goed
{"name":"Alice","age":30}

Elk JSON-object moet op één regel passen. JSON die voor de leesbaarheid is opgemaakt met inspringing en regeleinden is geen geldige JSONL.

Speciale tekens zonder escaping
Fout
{"text":"She said "hello""}
Goed
{"text":"She said \"hello\""}

Aanhalingstekens en speciale tekens in JSON-strings moet je correct escapen met backslashes. Als je aanhalingstekens niet escapet, kan de JSON-parser de JSON niet verwerken.

Probeer onze gratis JSONL-tools

Bekijk, valideer en converteer JSONL-bestanden tot 1GB rechtstreeks in je browser. Uploaden is niet nodig, alles blijft 100% privé.

Veelgestelde vragen

Bronnen