JSONL-Zusammenführer

Warum cat file1.jsonl file2.jsonl Ihre Daten beschädigen kann

Verketten scheint die naheliegende Methode zu sein, um JSONL zusammenzuführen — und funktioniert genau so lange, bis einer Datei der abschließende Zeilenumbruch fehlt. Dann verschmelzen der letzte Datensatz der einen und der erste Datensatz der nächsten Datei zu einer einzigen ungültigen Zeile:

# file1.jsonl endet OHNE abschließenden Zeilenumbruch:
{"id": 1}
{"id": 2}⏎missing

# file2.jsonl:
{"id": 3}

# cat file1.jsonl file2.jsonl erzeugt:
{"id": 1}
{"id": 2}{"id": 3}   ← one broken line: parse error, two records lost

Dieses Tool prüft das letzte Byte jeder Eingabedatei und fügt vor dem Verketten einen fehlenden Zeilenumbruch ein. Die zusammengeführte Ausgabe ist dadurch unabhängig von der Speicherung der Eingaben immer gültig. Wenn Sie cat in einer Pipeline verwenden müssen, nutzen Sie die robuste Variante: awk 1 file1.jsonl file2.jsonl (awk schließt jede Zeile erneut korrekt ab).

Wie man JSONL-Dateien zusammenführt

Wählen Sie mehrere JSONL-Dateien aus oder ziehen Sie sie per Drag & Drop in den Upload-Bereich. Jede Datei wird vollständig in Ihrem Browser gelesen — keine Daten werden an einen Server gesendet. Dateien können im .jsonl-, .ndjson-, .json- oder .txt-Format vorliegen.

Nach dem Hochladen können Sie Dateien mit den Auf/Ab-Pfeilen umordnen, um die Zusammenführungsreihenfolge zu steuern. Aktivieren Sie die Deduplizierung, um doppelte Zeilen basierend auf ihrem vollständigen Inhalt zu entfernen, oder aktivieren Sie die JSON-Validierung, um Zeilen zu überspringen, die kein gültiges JSON sind.

Die zusammengeführte Ausgabe erscheint im Vorschaufenster und zeigt die ersten 100 Zeilen. Laden Sie die vollständig zusammengeführte Datei als .jsonl-Datei herunter oder kopieren Sie sie in die Zwischenablage. Statistiken zeigen die Gesamtzeilenanzahl, Dateigröße und entfernte Duplikate oder ungültige Zeilen.

Genaue Semantik der Zusammenführung

Reihenfolge

Dateien werden in der Reihenfolge verkettet, in der Sie sie hinzufügen; die Reihenfolge der Datensätze innerhalb jeder Datei bleibt erhalten. Die Zusammenführung hängt ausschließlich an — Datensätze werden niemals neu angeordnet, geschrieben oder formatiert.

Korrektur von Dateigrenzen

Ein fehlender abschließender Zeilenumbruch am Ende einer Eingabedatei wird automatisch ergänzt (siehe Beispiel oben). Leere Zeilen zwischen Datensätzen werden entfernt, da einige Zielsysteme sie ablehnen.

Deduplizierung: exakte Zeile

Optional. Zwei Datensätze gelten nur dann als Duplikate, wenn ihre unverarbeiteten Zeilen Byte für Byte identisch sind — {"a":1,"b":2} und {"b":2,"a":1} werden NICHT dedupliziert, da die abweichende Schlüsselreihenfolge zu unterschiedlichen Zeilen führt, obwohl die JSON-Werte gleich sind. Normalisieren Sie die Dateien zuerst mit der Option zum Sortieren von Schlüsseln im Formatierer, wenn Sie eine Deduplizierung auf Wertebene benötigen.

Roundtrip mit dem Splitter

Das Zusammenführen ist die exakte Umkehrung des Aufteilens: Teilen Sie eine Datei in N Teile, führen Sie diese in derselben Reihenfolge wieder zusammen, und das Ergebnis ist Byte für Byte mit dem Original identisch (bei deaktivierter Deduplizierung). Dadurch ist „aufteilen → parallel verarbeiten → zusammenführen“ ein sicheres Pipeline-Muster.

Was ist JSONL-Zusammenführung?

JSONL-Zusammenführung ist der Prozess, mehrere JSONL (JSON Lines)-Dateien in eine einzelne Datei zu kombinieren. Jede Eingabedatei enthält ein JSON-Objekt pro Zeile, und der Zusammenführer verkettet alle Zeilen aus allen Dateien in eine Ausgabedatei, wobei die von Ihnen angegebene Reihenfolge beibehalten wird.

Dies ist wesentlich bei der Arbeit mit Datensätzen, die über mehrere Dateien verteilt sind — wie Trainingsdaten-Shards, tägliche Protokollexporte oder aufgeteilte API-Antworten. Das Zusammenführen konsolidiert sie in einer einzigen Datei für einfachere Verarbeitung, Analyse oder das Hochladen auf Plattformen, die eine einzelne JSONL-Eingabe erwarten.

Häufige Fehler & Lösungen

Häufig gestellte Fragen