JSONL-Dateien zusammenführen

Führen Sie mehrere JSONL-Dateien (JSON Lines) zu einer einzigen Datei zusammen. Passen Sie die Reihenfolge an, entfernen Sie Duplikate und validieren Sie die Zeilen. Die Verarbeitung erfolgt zu 100 % in Ihrem Browser. Ihre Daten verlassen den Browser nicht.

Eingabedateien

Ziehen Sie .jsonl-Dateien hierher oder klicken Sie, um mehrere Dateien auszuwählen

Unterstützt .jsonl, .ndjson, .json, .txt

Optionen zum Zusammenführen

Zusammengeführte Ausgabe

Ziehen Sie JSONL-Dateien hierher oder wählen Sie Dateien zum Zusammenführen aus

Warum cat file1.jsonl file2.jsonl Ihre Daten beschädigen kann

Dateien einfach aneinanderzuhängen, scheint die naheliegende Lösung zum Zusammenführen von JSONL zu sein. Das funktioniert allerdings nur, solange keine Datei ohne abschließenden Zeilenumbruch endet. Andernfalls landen der letzte Datensatz der einen Datei und der erste Datensatz der nächsten in einer einzigen ungültigen Zeile:

# file1.jsonl endet OHNE abschließenden Zeilenumbruch:
{"id": 1}
{"id": 2}⏎missing


# file2.jsonl:
{"id": 3}


# cat file1.jsonl file2.jsonl erzeugt:
{"id": 1}
{"id": 2}{"id": 3}   ← one broken line: parse error, two records lost

Dieses Tool prüft das letzte Byte jeder Eingabedatei und ergänzt vor dem Zusammenführen bei Bedarf einen Zeilenumbruch. So ist die zusammengeführte Ausgabe immer gültig, unabhängig davon, wie die Eingabedateien gespeichert wurden. Wenn Sie cat in einer Pipeline verwenden müssen, nutzen Sie die abgesicherte Variante: awk 1 file1.jsonl file2.jsonl (awk versieht jede Zeile erneut mit einem abschließenden Zeilenumbruch).

So führen Sie JSONL-Dateien zusammen

Wählen Sie mehrere JSONL-Dateien aus oder ziehen Sie sie per Drag & Drop in den Upload-Bereich. Jede Datei wird vollständig in Ihrem Browser eingelesen. Es werden keine Daten an einen Server gesendet. Unterstützt werden die Formate .jsonl, .ndjson, .json und .txt.

Nach dem Hochladen können Sie die Dateien mit den Pfeilen nach oben und unten verschieben und so die Reihenfolge beim Zusammenführen festlegen. Aktivieren Sie die Deduplizierung, um Zeilen mit identischem vollständigem Inhalt zu entfernen. Mit der JSON-Validierung überspringen Sie Zeilen, die kein gültiges JSON enthalten.

Die Vorschau zeigt die ersten 100 Zeilen der zusammengeführten Ausgabe. Laden Sie das vollständige Ergebnis als .jsonl-Datei herunter oder kopieren Sie es in die Zwischenablage. Die Statistik zeigt die Gesamtzahl der Zeilen, die Dateigröße sowie die Anzahl der entfernten Duplikate und ungültigen Zeilen.

So funktioniert das Zusammenführen im Detail

Reihenfolge
Die Dateien werden in der Reihenfolge aneinandergehängt, in der Sie sie hinzufügen. Die Reihenfolge der Datensätze innerhalb jeder Datei bleibt erhalten. Beim Zusammenführen werden die Datensätze ausschließlich angehängt, niemals umsortiert, umgeschrieben oder neu formatiert.
Zeilenumbrüche an Dateigrenzen
Fehlt am Ende einer Eingabedatei der abschließende Zeilenumbruch, wird er automatisch ergänzt (siehe Beispiel oben). Leere Zeilen zwischen Datensätzen werden entfernt, da einige weiterverarbeitende Systeme sie nicht akzeptieren.
Deduplizierung bei exakt gleichen Zeilen
Optional. Zwei Datensätze gelten nur dann als Duplikate, wenn ihre unverarbeiteten Zeilen Byte für Byte identisch sind. {"a":1,"b":2} und {"b":2,"a":1} werden NICHT dedupliziert: Durch die unterschiedliche Schlüsselreihenfolge unterscheiden sich die Zeilen, obwohl die JSON-Werte gleich sind. Wenn Sie auf Wertebene deduplizieren möchten, normalisieren Sie die Dateien zunächst mit der Option zum Sortieren der Schlüssel im Formatierer.
Roundtrip mit dem Splitter
Das Zusammenführen ist die exakte Umkehrung des Aufteilens: Teilen Sie eine Datei in N Teile und führen Sie diese in derselben Reihenfolge wieder zusammen. Bei deaktivierter Deduplizierung ist das Ergebnis Byte für Byte mit dem Original identisch. Damit lässt sich „aufteilen → parallel verarbeiten → zusammenführen“ als sicheres Muster für Pipelines einsetzen.

Was bedeutet es, JSONL-Dateien zusammenzuführen?

Beim Zusammenführen werden mehrere JSONL-Dateien (JSON Lines) zu einer einzigen Datei verbunden. Jede Eingabedatei enthält ein JSON-Objekt pro Zeile. Das Tool hängt die Zeilen aller Dateien in der von Ihnen festgelegten Reihenfolge aneinander und schreibt sie in eine gemeinsame Ausgabedatei.

Das ist besonders wichtig, wenn ein Datensatz auf mehrere Dateien verteilt ist, etwa bei Trainingsdaten-Shards, täglichen Log-Exporten oder in Blöcke aufgeteilten API-Antworten. Eine gemeinsame Datei lässt sich leichter verarbeiten und analysieren oder auf Plattformen hochladen, die eine einzelne JSONL-Datei als Eingabe erwarten.

Häufige Fehler und Lösungen

Doppelte Datensätze in mehreren Dateien

Beim Zusammenführen überlappender JSONL-Exporte, etwa täglicher Logs mit überlappenden Zeitstempeln, können Duplikate entstehen. Aktivieren Sie die Option „Duplikate entfernen“, um Zeilen mit exakt gleichem Inhalt automatisch zu deduplizieren. Für eine semantische Deduplizierung, also bei gleichen Daten mit unterschiedlicher Formatierung, formatieren Sie zunächst alle Dateien einheitlich mit dem JSONL-Formatierer.

Unterschiedliche Zeichenkodierungen

Dateien aus verschiedenen Quellen können unterschiedliche Zeichenkodierungen verwenden (UTF-8, UTF-8 mit BOM, Windows-1252). Dadurch lässt sich die erste Zeile mancher Dateien möglicherweise nicht als JSON parsen. Stellen Sie vor dem Zusammenführen sicher, dass alle Dateien als UTF-8 ohne BOM gespeichert sind.

Unterschiedliche Schemata in den Dateien

JSONL-Dateien aus verschiedenen Quellen können unterschiedlich aufgebaute Schlüsselstrukturen haben. Das Tool führt die Dateien auch bei unterschiedlichen Schemata zusammen. Nachgelagerte Tools können jedoch ein einheitliches Schema voraussetzen. Prüfen Sie die zusammengeführte Ausgabe mit dem JSONL-Validator, um sicherzustellen, dass jede Zeile gültiges JSON enthält.

Häufige Anwendungsfälle

Datensätze zusammenführen
Führen Sie mehrere Shards mit JSONL-Trainingsdaten zu einer einzigen Datei zusammen, die Sie für das Fine-Tuning bei OpenAI, auf Hugging Face oder auf anderen ML-Plattformen hochladen können.
Ergebnisse aus Datenpipelines zusammenführen
Führen Sie die Ausgabedateien paralleler Datenverarbeitungspipelines zu einer einzigen JSONL-Datei für die Weiterverarbeitung zusammen.
ML-Trainingsdaten vorbereiten
Bündeln Sie Prompt-Completion-Paare aus mehreren Quellen in einer JSONL-Datei für das Fine-Tuning eines Modells.
Log-Dateien zusammenführen
Fassen Sie tägliche oder stündliche JSONL-Log-Exporte in einer einzigen Datei zusammen, um die Logs umfassend zu analysieren und zu durchsuchen.
Zusammenarbeit im Team
Führen Sie JSONL-Dateien verschiedener Teammitglieder zu einem einheitlichen Datensatz für die gemeinsame Analyse zusammen.
Analysedaten zusammenführen
Fassen Sie JSONL-Ereignisdaten aus mehreren Diensten oder Zeiträumen für gemeinsame Analysen und Berichte zusammen.

Häufig gestellte Fragen

Sind meine Daten beim Zusammenführen von Dateien sicher?

Ja. Das Zusammenführen erfolgt vollständig lokal in Ihrem Browser. Es werden keine Dateidaten auf einen Server hochgeladen. Ihre JSONL-Dateien verlassen Ihr Gerät nicht.

Ist die Anzahl der Dateien, die ich zusammenführen kann, begrenzt?

Die Anzahl der Dateien ist nicht fest begrenzt. Sie können so viele JSONL-Dateien hinzufügen, wie Sie benötigen. Da alle Dateien in den Arbeitsspeicher des Browsers geladen werden, kann die Verarbeitung sehr großer Gesamtdatensätze (mehrere hundert MB) je nach Gerät länger dauern.

Wie funktioniert das Entfernen von Duplikaten?

Die Deduplizierung vergleicht den vollständigen Inhalt jeder Zeile, nachdem führender und nachgestellter Leerraum entfernt wurde. Sind zwei Zeilen identisch, enthalten sie also dieselben Zeichen in derselben Reihenfolge, wird das zweite Vorkommen entfernt. Entscheidend ist die exakte Übereinstimmung: Zeilen mit denselben Daten, aber einer anderen Schlüsselreihenfolge oder abweichendem Leerraum gelten als unterschiedlich.

Kann ich festlegen, in welcher Reihenfolge die Dateien zusammengeführt werden?

Ja. Nach dem Hochladen können Sie die Dateien mit den Pfeilschaltflächen nach oben und unten neben jeder Datei verschieben. Die Ausgabe folgt der Dateireihenfolge von oben nach unten.

Was passiert mit leeren Zeilen in den Eingabedateien?

Leere Zeilen und Zeilen, die nur aus Leerraum bestehen, werden beim Einlesen automatisch herausgefiltert. Sie erscheinen nicht in der zusammengeführten Ausgabe. Das entspricht der JSONL-Spezifikation, nach der leere Zeilen ignoriert werden.

Kann ich Dateien mit unterschiedlichen JSON-Schemas zusammenführen?

Ja. Das Tool führt Dateien auch bei unterschiedlichen Schemata zusammen. Jede Zeile bleibt dabei exakt erhalten. Wenn Sie ein einheitliches Schema benötigen, validieren oder transformieren Sie die Dateien vor dem Zusammenführen einzeln.

Bleibt beim Zusammenführen die ursprüngliche Zeilenreihenfolge innerhalb jeder Datei erhalten?

Ja. Die Zeilen innerhalb jeder Datei behalten ihre ursprüngliche Reihenfolge. Die Dateien werden in der Reihenfolge aneinandergehängt, die in der Dateiliste angezeigt wird. Diese Reihenfolge können Sie vor dem Zusammenführen anpassen.

Wie unterscheidet sich das Tool vom manuellen Aneinanderhängen von Dateien?

Das Tool bietet eine grafische Oberfläche mit Drag-and-Drop-Upload, anpassbarer Dateireihenfolge, Deduplizierung, JSON-Validierung, einer Statistik zur Zeilenanzahl und einer sofortigen Vorschau. Anders als beim manuellen Aneinanderhängen mit cat oder copy werden Sonderfälle wie abschließende Zeilenumbrüche und leere Zeilen automatisch berücksichtigt.

Verwandte Tools & Anleitungen