Fusion de fichiers JSONL

Regroupez plusieurs fichiers JSONL (JSON Lines) en un seul. Changez leur ordre, supprimez les doublons et validez les lignes. Le traitement se fait à 100% côté client : vos données ne quittent jamais votre navigateur.

Fichiers à fusionner

Déposez vos fichiers .jsonl ici ou cliquez pour sélectionner plusieurs fichiers

Formats acceptés : .jsonl, .ndjson, .json, .txt

Options de fusion

Résultat de la fusion

Déposez ou sélectionnez les fichiers JSONL à fusionner

Pourquoi cat file1.jsonl file2.jsonl peut corrompre vos données

La concaténation semble être la solution évidente pour fusionner des fichiers JSONL. Elle fonctionne tant que chaque fichier se termine par un saut de ligne. Si ce saut de ligne manque, le dernier enregistrement d’un fichier et le premier du suivant se retrouvent collés sur une même ligne invalide :

# file1.jsonl se termine SANS retour à la ligne final :
{"id": 1}
{"id": 2}⏎missing


# file2.jsonl :
{"id": 3}


# cat file1.jsonl file2.jsonl produit :
{"id": 1}
{"id": 2}{"id": 3}   ← one broken line: parse error, two records lost

Cet outil vérifie le dernier octet de chaque fichier source et ajoute le saut de ligne manquant avant de les concaténer. Le résultat de la fusion est ainsi toujours valide, quelle que soit la façon dont les fichiers sources ont été enregistrés. Si vous devez utiliser cat dans un pipeline, préférez cette commande plus robuste : awk 1 file1.jsonl file2.jsonl (awk ajoute un saut de ligne à la fin de chaque ligne).

Comment fusionner des fichiers JSONL

Sélectionnez plusieurs fichiers JSONL ou faites-les glisser dans la zone d’import. Chaque fichier est lu intégralement dans votre navigateur : aucune donnée n’est envoyée à un serveur. Les formats .jsonl, .ndjson, .json et .txt sont acceptés.

Une fois les fichiers importés, utilisez les flèches vers le haut et vers le bas pour choisir l’ordre de fusion. Activez le dédoublonnage pour supprimer les lignes dont le contenu est identique, ou la validation JSON pour ignorer les lignes qui ne contiennent pas de JSON valide.

Le résultat de la fusion s’affiche dans le panneau d’aperçu, qui présente les 100 premières lignes. Téléchargez le fichier fusionné complet au format .jsonl ou copiez-le dans le presse-papiers. Les statistiques indiquent le nombre total de lignes, la taille du fichier ainsi que les doublons et les lignes invalides supprimés.

Fonctionnement détaillé de la fusion

Ordre
Les fichiers sont concaténés dans l’ordre où vous les ajoutez, et les enregistrements de chaque fichier conservent leur ordre initial. La fusion se fait uniquement par ajout : les enregistrements ne sont jamais réordonnés, réécrits ni remis en forme.
Gestion des jonctions entre fichiers
Si un fichier source ne se termine pas par un saut de ligne, celui-ci est ajouté automatiquement (voir l’exemple ci-dessus). Les lignes vides entre les enregistrements sont supprimées, car certains outils qui lisent ces fichiers les rejettent.
Dédoublonnage par comparaison exacte des lignes
Facultatif. Deux enregistrements sont considérés comme des doublons uniquement si leurs lignes brutes sont identiques octet par octet : {"a":1,"b":2} et {"b":2,"a":1} ne sont PAS dédoublonnés, car l’ordre des clés rend les lignes différentes même si les valeurs JSON sont égales. Pour dédoublonner selon les valeurs, commencez par normaliser les données avec l’option de tri des clés de l’outil de mise en forme.
Aller-retour avec l’outil de découpage
La fusion est l’inverse exact du découpage : découpez un fichier en N blocs, puis fusionnez-les dans le même ordre, et vous obtiendrez un résultat identique à l’original, octet par octet (avec le dédoublonnage désactivé). Cette propriété permet de construire des pipelines fiables selon la séquence découper → traiter en parallèle → fusionner.

Qu’est-ce que la fusion de fichiers JSONL ?

Fusionner des fichiers JSONL (JSON Lines) consiste à regrouper plusieurs fichiers en un seul. Chaque fichier source contient un objet JSON par ligne. L’outil concatène toutes les lignes de tous les fichiers dans un fichier unique, en respectant l’ordre que vous avez choisi.

Cette opération est essentielle pour travailler avec des jeux de données répartis sur plusieurs fichiers, comme des lots de données d’entraînement, des exports quotidiens de logs ou des réponses d’API découpées en plusieurs parties. Les regrouper dans un seul fichier facilite leur traitement, leur analyse ou leur envoi vers des plateformes qui attendent un unique fichier JSONL en entrée.

Erreurs courantes et solutions

Doublons entre les fichiers

La fusion d’exports JSONL qui se recoupent peut créer des doublons, par exemple lorsque des logs quotidiens couvrent des plages horaires communes. Activez l’option « Supprimer les doublons » pour les éliminer automatiquement en comparant le contenu exact des lignes. Pour un dédoublonnage sémantique (mêmes données, mise en forme différente), commencez par harmoniser la mise en forme de tous les fichiers avec l’outil de mise en forme JSONL.

Encodages différents selon les fichiers

Des fichiers issus de sources différentes peuvent utiliser des encodages différents (UTF-8, UTF-8 avec BOM, Windows-1252). L’analyse JSON peut alors échouer sur la première ligne de certains fichiers. Avant la fusion, vérifiez que tous les fichiers sont enregistrés en UTF-8 sans BOM.

Schémas différents selon les fichiers

Les fichiers JSONL issus de sources différentes peuvent présenter des structures de clés différentes. L’outil les fusionne même si leurs schémas diffèrent, mais les outils utilisés ensuite peuvent exiger un schéma cohérent. Vérifiez le résultat de la fusion avec le validateur JSONL pour vous assurer que chaque ligne contient du JSON valide.

Cas d'utilisation courants

Regroupement de jeux de données
Regroupez plusieurs lots de données d’entraînement JSONL dans un seul fichier à envoyer au service de fine-tuning d’OpenAI, à Hugging Face ou à d’autres plateformes de ML.
Regroupement des résultats de pipelines
Fusionnez les fichiers produits par des pipelines de traitement de données exécutés en parallèle dans un seul fichier JSONL, pour les étapes de traitement suivantes.
Préparation des données d’entraînement pour le ML
Regroupez des paires prompt-complétion issues de plusieurs sources dans un fichier JSONL prêt pour le fine-tuning d’un modèle.
Agrégation de fichiers de logs
Regroupez les exports de logs JSONL quotidiens ou horaires dans un seul fichier pour effectuer des analyses et des recherches sur l’ensemble des logs.
Collaboration en équipe
Fusionnez les fichiers JSONL fournis par les différents membres de l’équipe en un jeu de données commun pour les analyser ensemble.
Regroupement de données analytiques
Regroupez des données d’événements JSONL issues de plusieurs services ou périodes pour produire des analyses et des rapports consolidés.

Questions fréquentes

Mes données sont-elles en sécurité pendant la fusion des fichiers ?

Oui. La fusion s’effectue entièrement en local, dans votre navigateur. Aucune donnée contenue dans vos fichiers n’est envoyée à un serveur. Vos fichiers JSONL ne quittent jamais votre appareil.

Y a-t-il une limite au nombre de fichiers que je peux fusionner ?

Le nombre de fichiers n’est soumis à aucune limite fixe. Vous pouvez ajouter autant de fichiers JSONL que nécessaire. Tous les fichiers sont toutefois chargés dans la mémoire du navigateur : selon votre appareil, le traitement de jeux de données dont le volume cumulé est très important (plusieurs centaines de Mo) peut être plus lent.

Comment fonctionne le dédoublonnage ?

Le dédoublonnage compare le contenu complet de chaque ligne après suppression des espaces en début et en fin de ligne. Si deux lignes sont identiques (mêmes caractères, dans le même ordre), la seconde occurrence est supprimée. La comparaison est exacte : des lignes contenant les mêmes données, mais avec un ordre de clés ou des espaces différents, sont considérées comme distinctes.

Puis-je choisir l’ordre de fusion des fichiers ?

Oui. Après l’import, utilisez les boutons fléchés vers le haut et vers le bas à côté de chaque fichier pour changer leur ordre. La fusion suit l’ordre de la liste, de haut en bas.

Que deviennent les lignes vides des fichiers d’entrée ?

Les lignes vides ou ne contenant que des espaces sont automatiquement éliminées lors de la lecture des fichiers. Elles ne figurent donc pas dans le résultat de la fusion. Ce comportement suit la spécification JSONL, qui ignore les lignes vides.

Puis-je fusionner des fichiers ayant des schémas JSON différents ?

Oui. L’outil fusionne les fichiers même si leurs schémas diffèrent. Chaque ligne est conservée telle quelle. Si vous avez besoin d’un schéma cohérent, validez ou transformez chaque fichier avant la fusion.

La fusion conserve-t-elle l’ordre initial des lignes dans chaque fichier ?

Oui. Les lignes de chaque fichier conservent leur ordre initial. Les fichiers sont concaténés dans l’ordre affiché dans la liste. Vous pouvez modifier cet ordre avant la fusion.

En quoi cet outil diffère-t-il d’une concaténation manuelle des fichiers ?

Cet outil propose une interface visuelle avec import par glisser-déposer, choix de l’ordre des fichiers, dédoublonnage, validation JSON, statistiques sur le nombre de lignes et aperçu instantané. Contrairement à une concaténation manuelle avec les commandes cat ou copy, il gère automatiquement les cas particuliers, comme les sauts de ligne en fin de fichier et les lignes vides.

Outils et guides associés