JSONL-samenvoeger

Waarom cat file1.jsonl file2.jsonl je gegevens kan beschadigen

Aaneenschakelen lijkt de voor de hand liggende manier om JSONL-bestanden samen te voegen — en het werkt totdat een bestand geen afsluitende newline heeft. Dan smelten het laatste record van het ene bestand en het eerste record van het volgende samen tot één ongeldige regel:

# file1.jsonl eindigt ZONDER afsluitende newline:
{"id": 1}
{"id": 2}⏎missing

# file2.jsonl:
{"id": 3}

# cat file1.jsonl file2.jsonl levert het volgende op:
{"id": 1}
{"id": 2}{"id": 3}   ← one broken line: parse error, two records lost

Deze tool controleert de laatste byte van elke invoer en voegt vóór het samenvoegen een ontbrekende newline toe — de samengevoegde uitvoer is altijd geldig, ongeacht hoe de invoerbestanden zijn opgeslagen. Moet je cat in een pipeline gebruiken, kies dan de defensieve vorm: awk 1 file1.jsonl file2.jsonl (awk sluit elke regel opnieuw af).

Hoe JSONL-bestanden samenvoegen

Selecteer of sleep meerdere JSONL-bestanden naar het uploadgebied. Elk bestand wordt volledig in je browser gelezen — er worden geen gegevens naar een server verzonden. Bestanden kunnen in .jsonl-, .ndjson-, .json- of .txt-formaat zijn.

Eenmaal geüpload kun je bestanden herordenen met de omhoog/omlaag-pijlen om de samenvoegvolgorde te bepalen. Schakel deduplicatie in om dubbele regels te verwijderen op basis van hun volledige inhoud, of schakel JSON-validatie in om regels over te slaan die geen geldige JSON zijn.

De samengevoegde uitvoer verschijnt in het voorbeeldpaneel dat de eerste 100 regels toont. Download het volledige samengevoegde bestand als een .jsonl-bestand of kopieer het naar je klembord. Statistieken tonen het totale regelnummer, de bestandsgrootte en eventuele verwijderde duplicaten of ongeldige regels.

Semantiek van het samenvoegen, exact beschreven

Volgorde

Bestanden worden aaneengeschakeld in de volgorde waarin je ze toevoegt en de recordvolgorde binnen elk bestand blijft behouden. Samenvoegen voegt uitsluitend gegevens toe — records worden nooit opnieuw geordend, herschreven of geformatteerd.

Grenscorrectie

Een ontbrekende afsluitende newline aan het einde van een invoer wordt automatisch toegevoegd (zie het voorbeeld hierboven). Lege regels tussen records worden verwijderd, omdat sommige afnemers deze weigeren.

Deduplicatie: exacte regel

Optioneel. Twee records gelden alleen als duplicaten wanneer hun onbewerkte regels byte-identiek zijn — {"a":1,"b":2} en {"b":2,"a":1} worden NIET gededupliceerd, omdat de sleutelvolgorde de regels verschillend maakt, ook al zijn de JSON-waarden gelijk. Normaliseer eerst met de optie voor het sorteren van sleutels in de formatter als je deduplicatie op waardeniveau nodig hebt.

Roundtrip met de splitter

Samenvoegen is precies het omgekeerde van splitsen: splits een bestand in N delen, voeg ze in dezelfde volgorde weer samen en het resultaat is byte-identiek aan het origineel (met deduplicatie uitgeschakeld). Dankzij deze eigenschap is splitsen → parallel verwerken → samenvoegen een veilig pipelinepatroon.

Wat is JSONL samenvoegen?

JSONL samenvoegen is het proces van het combineren van meerdere JSONL (JSON Lines)-bestanden tot één bestand. Elk invoerbestand bevat één JSON-object per regel, en de samenvoeger voegt alle regels uit alle bestanden samen in één uitvoerbestand met behoud van de door jou opgegeven volgorde.

Dit is essentieel bij het werken met datasets die over meerdere bestanden zijn verdeeld — zoals trainingsdata-shards, dagelijkse logexports of opgedeelde API-responses. Samenvoegen consolideert ze in één bestand voor eenvoudigere verwerking, analyse of upload naar platforms die een enkel JSONL-invoerbestand verwachten.

Veelvoorkomende fouten & oplossingen

Veelgestelde vragen