JSONL-Zusammenführer
Mehrere JSONL (JSON Lines)-Dateien in eine einzelne Datei kombinieren. Umordnen, deduplizieren und Zeilen validieren. 100 % clientseitig, Ihre Daten verlassen niemals Ihren Browser.
Eingabedateien
.jsonl-Dateien hier ablegen oder klicken, um mehrere Dateien auszuwählen
Unterstützt .jsonl, .ndjson, .json, .txt
Zusammenführungsoptionen
Eingabedateien
.jsonl-Dateien hier ablegen oder klicken, um mehrere Dateien auszuwählen
Unterstützt .jsonl, .ndjson, .json, .txt
Zusammenführungsoptionen
Zusammengeführte Ausgabe
JSONL-Dateien ablegen oder auswählen zum Zusammenführen
Wie man JSONL-Dateien zusammenführt
Wählen Sie mehrere JSONL-Dateien aus oder ziehen Sie sie per Drag & Drop in den Upload-Bereich. Jede Datei wird vollständig in Ihrem Browser gelesen — keine Daten werden an einen Server gesendet. Dateien können im .jsonl-, .ndjson-, .json- oder .txt-Format vorliegen.
Nach dem Hochladen können Sie Dateien mit den Auf/Ab-Pfeilen umordnen, um die Zusammenführungsreihenfolge zu steuern. Aktivieren Sie die Deduplizierung, um doppelte Zeilen basierend auf ihrem vollständigen Inhalt zu entfernen, oder aktivieren Sie die JSON-Validierung, um Zeilen zu überspringen, die kein gültiges JSON sind.
Die zusammengeführte Ausgabe erscheint im Vorschaufenster und zeigt die ersten 100 Zeilen. Laden Sie die vollständig zusammengeführte Datei als .jsonl-Datei herunter oder kopieren Sie sie in die Zwischenablage. Statistiken zeigen die Gesamtzeilenanzahl, Dateigröße und entfernte Duplikate oder ungültige Zeilen.
Was ist JSONL-Zusammenführung?
JSONL-Zusammenführung ist der Prozess, mehrere JSONL (JSON Lines)-Dateien in eine einzelne Datei zu kombinieren. Jede Eingabedatei enthält ein JSON-Objekt pro Zeile, und der Zusammenführer verkettet alle Zeilen aus allen Dateien in eine Ausgabedatei, wobei die von Ihnen angegebene Reihenfolge beibehalten wird.
Dies ist wesentlich bei der Arbeit mit Datensätzen, die über mehrere Dateien verteilt sind — wie Trainingsdaten-Shards, tägliche Protokollexporte oder aufgeteilte API-Antworten. Das Zusammenführen konsolidiert sie in einer einzigen Datei für einfachere Verarbeitung, Analyse oder das Hochladen auf Plattformen, die eine einzelne JSONL-Eingabe erwarten.
Häufige Anwendungsfälle
Datensatzkonsolidierung
Mehrere JSONL-Trainingsdaten-Shards in eine einzelne Datei kombinieren für das Hochladen zu OpenAI Fine-Tuning, Hugging Face oder anderen ML-Plattformen.
Datenpipeline-Zusammenstellung
Ausgabedateien aus parallelen Datenverarbeitungspipelines in eine einzelne JSONL-Datei für die nachgelagerte Nutzung zusammenführen.
ML-Trainingsdatenvorbereitung
Prompt-Completion-Paare aus mehreren Quellen in eine JSONL-Datei konsolidieren, die für das Modell-Fine-Tuning bereit ist.
Protokolldatei-Aggregation
Tägliche oder stündliche JSONL-Protokollexporte in eine einzelne Datei für umfassende Protokollanalyse und -suche kombinieren.
Team-Zusammenarbeit
JSONL-Datendateien, die von verschiedenen Teammitgliedern beigetragen wurden, in einen einheitlichen Datensatz für gemeinsame Analyse zusammenführen.
Analysedaten zusammenführen
JSONL-Ereignisdaten aus mehreren Diensten oder Zeiträumen für einheitliche Analysen und Berichterstattung kombinieren.
Häufige Fehler & Lösungen
Doppelte Datensätze über Dateien hinweg
Beim Zusammenführen überlappender JSONL-Exporte (z. B. tägliche Protokolle mit überlappenden Zeitstempeln) können Duplikate auftreten. Aktivieren Sie die Option 'Duplikate entfernen', um automatisch basierend auf dem exakten Zeileninhalt zu deduplizieren. Für semantische Deduplizierung (gleiche Daten, unterschiedliche Formatierung) formatieren Sie alle Dateien zuerst konsistent mit dem JSONL-Formatierer.
Gemischte Kodierung zwischen Dateien
Dateien aus verschiedenen Quellen können unterschiedliche Zeichenkodierungen verwenden (UTF-8, UTF-8 mit BOM, Windows-1252). Dies kann dazu führen, dass die erste Zeile einiger Dateien beim JSON-Parsen fehlschlägt. Stellen Sie sicher, dass alle Dateien vor dem Zusammenführen als UTF-8 ohne BOM gespeichert sind.
Inkonsistente Schemata über Dateien hinweg
JSONL-Dateien aus verschiedenen Quellen können unterschiedliche Schlüsselstrukturen haben. Während der Zusammenführer Dateien unabhängig von Schemaunterschieden kombiniert, können nachgelagerte Tools konsistente Schemata erwarten. Validieren Sie Ihre zusammengeführte Ausgabe mit dem JSONL-Validator, um sicherzustellen, dass jede Zeile gültiges JSON ist.
Häufig gestellte Fragen
Wie kombiniert dieser JSONL-Merger Dateien?
Ja. Das gesamte Zusammenführen findet lokal in Ihrem Browser statt. Keine Dateidaten werden auf einen Server hochgeladen. Ihre JSONL-Dateien verlassen niemals Ihr Gerät.
Kann dieser JSONL-Merger doppelte Zeilen entfernen?
Es gibt keine harte Begrenzung für die Anzahl der Dateien. Sie können so viele JSONL-Dateien wie nötig hinzufügen. Da jedoch alle Dateien in den Browserspeicher geladen werden, können sehr große kombinierte Datensätze (mehrere hundert MB) je nach Gerät langsamer sein.
Lädt dieser JSONL-Merger meine Daten hoch?
Die Deduplizierung vergleicht den vollständig getrimmten Inhalt jeder Zeile. Wenn zwei Zeilen identisch sind (gleiche Zeichen, gleiche Reihenfolge), wird das zweite Vorkommen entfernt. Dies ist eine Exact-Match-Deduplizierung — Zeilen mit denselben Daten, aber unterschiedlicher Schlüsselreihenfolge oder unterschiedlichem Leerraum werden als verschieden behandelt.
Kann ich NDJSON-Dateien mit diesem Tool zusammenführen?
Ja. Nach dem Hochladen können Sie die Auf- und Ab-Pfeilschaltflächen neben jeder Datei verwenden, um sie umzuordnen. Die zusammengeführte Ausgabe folgt der Dateireihenfolge von oben nach unten.
Wie viele Dateien kann ich gleichzeitig zusammenführen?
Leere Zeilen und Zeilen, die nur Leerzeichen enthalten, werden beim Lesen der Datei automatisch herausgefiltert. Sie erscheinen nicht in der zusammengeführten Ausgabe. Dies folgt der JSONL-Spezifikation, bei der leere Zeilen ignoriert werden.
Wie teile ich eine zusammengeführte JSONL-Datei wieder auf?
Ja. Der Zusammenführer kombiniert Dateien unabhängig von Schemaunterschieden. Jede Zeile wird genau so beibehalten, wie sie ist. Wenn Sie Schemakonsistenz benötigen, validieren oder transformieren Sie die Dateien einzeln vor dem Zusammenführen.
Bleibt die ursprüngliche Dateireihenfolge beim Zusammenführen erhalten?
Ja. Zeilen innerhalb jeder Datei behalten ihre ursprüngliche Reihenfolge bei. Dateien werden in der Reihenfolge verkettet, die in der Dateiliste angezeigt wird. Sie können die Dateireihenfolge vor dem Zusammenführen anpassen.
Kann ich Dateien mit unterschiedlichen Schemata zusammenführen?
Dieses Tool bietet eine visuelle Oberfläche mit Drag-and-Drop-Upload, Dateiumsortierung, Deduplizierung, JSON-Validierung, Zeilenzählungsstatistiken und sofortiger Vorschau. Im Gegensatz zum manuellen Verketten mit cat- oder copy-Befehlen behandelt es Randfälle wie nachgestellte Zeilenumbrüche und leere Zeilen automatisch.