JSONL-bestanden samenvoegen
Voeg meerdere JSONL (JSON Lines)-bestanden samen tot één bestand. Pas de volgorde aan, verwijder duplicaten en valideer de regels. Alles gebeurt 100% in je browser; je gegevens verlaten je browser nooit.
Invoerbestanden
Sleep .jsonl-bestanden hierheen of klik om meerdere bestanden te selecteren
Ondersteunt .jsonl, .ndjson, .json, .txt
Opties voor samenvoegen
Samengevoegd resultaat
Sleep of selecteer JSONL-bestanden om ze samen te voegen
Waarom cat file1.jsonl file2.jsonl je data kan beschadigen
Bestanden achter elkaar zetten lijkt de logische manier om JSONL samen te voegen. Dat werkt ook, totdat een bestand niet eindigt met een newline. Het laatste record van dat bestand komt dan direct tegen het eerste record van het volgende bestand te staan, waardoor één ongeldige regel ontstaat:
# file1.jsonl eindigt ZONDER afsluitende newline:
{"id": 1}
{"id": 2}⏎missing
# file2.jsonl:
{"id": 3}
# cat file1.jsonl file2.jsonl levert het volgende op:
{"id": 1}
{"id": 2}{"id": 3} ← one broken line: parse error, two records lostDeze tool controleert de laatste byte van elk invoerbestand en voegt vóór het samenvoegen zo nodig een newline toe. Het samengevoegde resultaat is daardoor altijd geldig, ongeacht hoe de invoerbestanden zijn opgeslagen. Moet je cat in een pipeline gebruiken, kies dan voor deze robuuste variant: awk 1 file1.jsonl file2.jsonl (awk sluit elke regel opnieuw af).
Zo voeg je JSONL-bestanden samen
Selecteer meerdere JSONL-bestanden of sleep ze naar het uploadvak. Elk bestand wordt volledig in je browser ingelezen; er worden geen gegevens naar een server verstuurd. Je kunt bestanden in .jsonl-, .ndjson-, .json- of .txt-formaat gebruiken.
Na het uploaden kun je met de pijlen omhoog en omlaag de bestandsvolgorde aanpassen. Die bepaalt de volgorde waarin de bestanden worden samengevoegd. Schakel deduplicatie in om dubbele regels op basis van hun volledige inhoud te verwijderen, of schakel JSON-validatie in om regels met ongeldige JSON over te slaan.
Het voorbeeldpaneel toont de eerste 100 regels van het samengevoegde resultaat. Download het volledige samengevoegde bestand als .jsonl-bestand of kopieer het naar je klembord. De statistieken tonen het totale aantal regels, de bestandsgrootte en hoeveel duplicaten of ongeldige regels zijn verwijderd.
Hoe het samenvoegen precies werkt
- Volgorde
- Bestanden worden achter elkaar gezet in de volgorde waarin je ze toevoegt. De volgorde van de records binnen elk bestand blijft behouden. Bij het samenvoegen worden records alleen achteraan toegevoegd; ze worden nooit opnieuw geordend, herschreven of opnieuw opgemaakt.
- Ontbrekende regeleinden herstellen
- Als een invoerbestand niet eindigt met een newline, wordt die automatisch toegevoegd (zie het voorbeeld hierboven). Lege regels tussen records worden verwijderd, omdat sommige tools die de data verwerken ze niet accepteren.
- Deduplicatie: exact gelijke regels
- Optioneel. Twee records tellen alleen als duplicaten als hun onbewerkte regels byte voor byte identiek zijn. {"a":1,"b":2} en {"b":2,"a":1} worden dus NIET gededupliceerd: door de andere volgorde van keys verschillen de regels, ook al zijn de JSON-waarden gelijk. Wil je duplicaten op basis van waarden verwijderen, normaliseer de data dan eerst met de optie voor het sorteren van keys in de formatter.
- Splitsen en weer samenvoegen
- Samenvoegen is precies het omgekeerde van splitsen: splits een bestand in N delen en voeg ze in dezelfde volgorde weer samen. Het resultaat is byte voor byte identiek aan het origineel (met deduplicatie uitgeschakeld). Dankzij deze eigenschap is splitsen → parallel verwerken → samenvoegen een veilig patroon voor pipelines.
Wat houdt JSONL-bestanden samenvoegen in?
Bij het samenvoegen van JSONL combineer je meerdere JSONL (JSON Lines)-bestanden tot één bestand. Elk invoerbestand bevat één JSON-object per regel. De tool zet alle regels uit alle bestanden achter elkaar in één uitvoerbestand, in de volgorde die je opgeeft.
Dit is essentieel als je werkt met datasets die over meerdere bestanden zijn verdeeld, zoals shards met trainingsdata, dagelijkse logexports of API-responses die in delen worden aangeleverd. Door ze samen te voegen krijg je één bestand dat je eenvoudiger kunt verwerken, analyseren of uploaden naar platforms die één JSONL-invoerbestand verwachten.
Veelvoorkomende fouten en oplossingen
Dubbele records in meerdere bestanden
Bij het samenvoegen van overlappende JSONL-exports, zoals dagelijkse logs met overlappende tijdstempels, kunnen duplicaten ontstaan. Schakel 'Duplicaten verwijderen' in om duplicaten automatisch te verwijderen als de regelinhoud exact overeenkomt. Voor semantische deduplicatie (dezelfde data met een andere opmaak) maak je eerst de opmaak van alle bestanden consistent met de JSONL Formatter.
Verschillende tekencoderingen
Bestanden uit verschillende bronnen kunnen verschillende tekencoderingen gebruiken (UTF-8, UTF-8 met BOM, Windows-1252). Daardoor kan het parsen van de eerste regel van sommige bestanden als JSON mislukken. Sla alle bestanden vóór het samenvoegen op als UTF-8 zonder BOM.
Verschillende schema's
JSONL-bestanden uit verschillende bronnen kunnen een andere structuur van keys hebben. De tool voegt bestanden samen ongeacht verschillen in het schema, maar tools die het resultaat verder verwerken kunnen een consistent schema verwachten. Valideer het samengevoegde resultaat met de JSONL Validator om te controleren of elke regel geldige JSON bevat.
Veelgebruikte toepassingen
- Datasets samenvoegen
- Voeg meerdere shards met JSONL-trainingsdata samen tot één bestand om te uploaden naar OpenAI voor fine-tuning, Hugging Face of andere ML-platforms.
- Resultaten van datapipelines samenvoegen
- Voeg uitvoerbestanden van parallelle dataverwerkingspipelines samen tot één JSONL-bestand voor verdere verwerking.
- Trainingsdata voor ML voorbereiden
- Voeg prompt-completion-paren uit meerdere bronnen samen tot één JSONL-bestand dat klaar is voor het fine-tunen van een model.
- Logbestanden samenvoegen
- Combineer dagelijkse of uurlijkse JSONL-logexports tot één bestand om alle logs uitgebreid te analyseren en te doorzoeken.
- Samenwerken in een team
- Voeg JSONL-databestanden van verschillende teamleden samen tot één dataset die je samen kunt analyseren.
- Data voor analyses samenvoegen
- Combineer JSONL-eventdata uit meerdere services of periodes om ze gezamenlijk te analyseren en erover te rapporteren.
Veelgestelde vragen
Zijn mijn gegevens veilig tijdens het samenvoegen van bestanden?
Ja. Het samenvoegen gebeurt volledig lokaal in je browser. Er worden geen bestandsgegevens naar een server geüpload. Je JSONL-bestanden verlaten je apparaat nooit.
Is er een limiet aan het aantal bestanden dat ik kan samenvoegen?
Er is geen harde limiet voor het aantal bestanden. Je kunt zoveel JSONL-bestanden toevoegen als je nodig hebt. Alle bestanden worden wel in het geheugen van je browser geladen. Daardoor kan het verwerken van zeer grote datasets (enkele honderden MB in totaal) trager verlopen, afhankelijk van je apparaat.
Hoe werkt het verwijderen van duplicaten?
Bij deduplicatie wordt de volledige inhoud van elke regel vergeleken, nadat witruimte aan het begin en einde is verwijderd. Als twee regels identiek zijn (dezelfde tekens in dezelfde volgorde), wordt de tweede verwijderd. Alleen exacte overeenkomsten tellen mee: regels met dezelfde data maar een andere volgorde van keys of andere witruimte worden als verschillend beschouwd.
Kan ik bepalen in welke volgorde de bestanden worden samengevoegd?
Ja. Gebruik na het uploaden de pijlknoppen omhoog en omlaag naast elk bestand om de volgorde aan te passen. In het samengevoegde resultaat staan de bestanden in de volgorde van de bestandslijst, van boven naar beneden.
Wat gebeurt er met lege regels in de invoerbestanden?
Lege regels en regels met alleen witruimte worden bij het inlezen automatisch weggefilterd. Ze komen niet in het samengevoegde resultaat terecht. Dit volgt de JSONL-specificatie, waarin lege regels worden genegeerd.
Kan ik bestanden met verschillende JSON-schema’s samenvoegen?
Ja. De tool voegt bestanden samen ongeacht verschillen in het schema. Elke regel blijft exact behouden. Als je consistente schema's nodig hebt, valideer of transformeer je de bestanden afzonderlijk voordat je ze samenvoegt.
Blijft de oorspronkelijke regelvolgorde binnen elk bestand behouden bij het samenvoegen?
Ja. De regels binnen elk bestand blijven in hun oorspronkelijke volgorde staan. De bestanden worden achter elkaar gezet in de volgorde van de bestandslijst. Je kunt die volgorde vóór het samenvoegen aanpassen.
Wat is het verschil tussen deze tool gebruiken en bestanden handmatig samenvoegen?
Deze tool biedt een visuele interface waarin je bestanden kunt uploaden door ze naar het uploadvak te slepen, de bestandsvolgorde kunt aanpassen, duplicaten kunt verwijderen en JSON kunt valideren. Je ziet ook statistieken over het aantal regels en direct een voorbeeld van het resultaat. Bij handmatig samenvoegen met cat of copy moet je zelf rekening houden met randgevallen zoals regeleinden aan het einde van bestanden en lege regels; deze tool handelt die automatisch af.
Gerelateerde tools & gidsen
Splits grote JSONL-bestanden op regelnummer in kleinere, beheersbare delen.
Valideer JSONL-bestanden regel voor regel. Spoor syntaxfouten, tekencoderingsproblemen en fouten in het formaat direct op.
Leer de best practices voor JSONL toepassen: opmaak, consistente schema’s, foutafhandeling, prestatieoptimalisatie en het organiseren van bestanden. Vermijd veelvoorkomende valkuilen aan de hand van praktische voorbeelden.
Strategieën om gigabytes aan JSONL-data te verwerken. Met aandacht voor lezen via streaming, geheugenbeheer, het splitsen van bestanden, compressie en online tools.
Bekijk en bewerk JSONL-bestanden tot 1GB direct in je browser. Een gratis JSONL-viewer met streaming, syntax highlighting en realtime validatie. Je hoeft niets te uploaden of een account aan te maken: je data blijft op je apparaat.