Fusionneur JSONL
Combinez plusieurs fichiers JSONL (JSON Lines) en un seul fichier. Réordonnez, dédoublonnez et validez les lignes. 100% côté client, vos données ne quittent jamais votre navigateur.
Fichiers d'entrée
Déposez des fichiers .jsonl ici, ou cliquez pour sélectionner plusieurs fichiers
Supporte .jsonl, .ndjson, .json, .txt
Options de fusion
Fichiers d'entrée
Déposez des fichiers .jsonl ici, ou cliquez pour sélectionner plusieurs fichiers
Supporte .jsonl, .ndjson, .json, .txt
Options de fusion
Sortie fusionnée
Déposez ou sélectionnez des fichiers JSONL à fusionner
Comment fusionner des fichiers JSONL
Sélectionnez ou glissez-déposez plusieurs fichiers JSONL dans la zone de téléchargement. Chaque fichier est lu entièrement dans votre navigateur — aucune donnée n'est envoyée à un serveur. Les fichiers peuvent être aux formats .jsonl, .ndjson, .json ou .txt.
Une fois téléchargés, vous pouvez réordonner les fichiers avec les flèches haut/bas pour contrôler l'ordre de fusion. Activez le dédoublonnage pour supprimer les lignes en double basées sur leur contenu intégral, ou activez la validation JSON pour ignorer les lignes qui ne sont pas du JSON valide.
La sortie fusionnée apparaît dans le panneau de prévisualisation affichant les 100 premières lignes. Téléchargez le fichier fusionné complet en fichier .jsonl ou copiez-le dans votre presse-papiers. Les statistiques montrent le nombre total de lignes, la taille du fichier et les doublons ou lignes invalides supprimés.
Qu'est-ce que la fusion JSONL ?
La fusion JSONL est le processus de combinaison de plusieurs fichiers JSONL (JSON Lines) en un seul fichier. Chaque fichier d'entrée contient un objet JSON par ligne, et le fusionneur concatène toutes les lignes de tous les fichiers en un seul fichier de sortie en préservant l'ordre que vous spécifiez.
C'est essentiel lorsque vous travaillez avec des datasets répartis sur plusieurs fichiers — comme des partitions de données d'entraînement, des exports de journaux quotidiens ou des réponses API par morceaux. La fusion les consolide en un seul fichier pour un traitement, une analyse ou un téléversement plus facile vers les plateformes qui attendent une seule entrée JSONL.
Cas d'utilisation courants
Consolidation de datasets
Combinez plusieurs partitions de données d'entraînement JSONL en un seul fichier pour le téléversement vers le fine-tuning OpenAI, Hugging Face ou d'autres plateformes ML.
Assemblage de pipelines de données
Fusionnez les fichiers de sortie de pipelines de traitement de données parallèles en un seul fichier JSONL pour la consommation en aval.
Préparation de données d'entraînement ML
Consolidez les paires prompt-complétion de plusieurs sources en un seul fichier JSONL prêt pour le fine-tuning de modèle.
Agrégation de fichiers journaux
Combinez les exports de journaux JSONL quotidiens ou horaires en un seul fichier pour une analyse et une recherche complètes des journaux.
Collaboration d'équipe
Fusionnez les fichiers de données JSONL apportés par différents membres de l'équipe en un dataset unifié pour une analyse partagée.
Fusion de données analytiques
Combinez les données d'événements JSONL de plusieurs services ou périodes pour des analyses et des rapports unifiés.
Erreurs courantes et solutions
Enregistrements en double entre les fichiers
Lors de la fusion d'exports JSONL qui se chevauchent (par ex. journaux quotidiens avec des horodatages qui se chevauchent), des doublons peuvent apparaître. Activez l'option 'Supprimer les doublons' pour dédoublonner automatiquement basé sur le contenu exact de la ligne. Pour un dédoublonnage sémantique (mêmes données, formatage différent), formatez d'abord tous les fichiers de manière cohérente avec le Formateur JSONL.
Encodage mixte entre les fichiers
Les fichiers provenant de différentes sources peuvent utiliser des encodages de caractères différents (UTF-8, UTF-8 avec BOM, Windows-1252). Cela peut provoquer l'échec de l'analyse JSON de la première ligne de certains fichiers. Assurez-vous que tous les fichiers sont enregistrés en UTF-8 sans BOM avant la fusion.
Schémas incohérents entre les fichiers
Les fichiers JSONL provenant de différentes sources peuvent avoir des structures de clés différentes. Bien que le fusionneur combine les fichiers indépendamment des différences de schéma, les outils en aval peuvent attendre des schémas cohérents. Validez votre sortie fusionnée avec le Validateur JSONL pour vous assurer que chaque ligne est du JSON valide.
Questions fréquemment posées
Comment ce fusionneur JSONL combine-t-il les fichiers ?
Oui. Toute la fusion se fait localement dans votre navigateur. Aucune donnée de fichier n'est téléversée vers un serveur. Vos fichiers JSONL ne quittent jamais votre appareil.
Ce fusionneur JSONL peut-il supprimer les lignes en double ?
Il n'y a pas de limite stricte au nombre de fichiers. Vous pouvez ajouter autant de fichiers JSONL que nécessaire. Cependant, puisque tous les fichiers sont chargés en mémoire du navigateur, les datasets combinés très volumineux (plusieurs centaines de Mo) peuvent être plus lents selon votre appareil.
Ce fusionneur JSONL téléverse-t-il mes données ?
Le dédoublonnage compare le contenu intégral épuré de chaque ligne. Si deux lignes sont identiques (mêmes caractères, même ordre), la seconde occurrence est supprimée. C'est un dédoublonnage par correspondance exacte — les lignes avec les mêmes données mais un ordre de clés ou des espaces différents sont traitées comme différentes.
Puis-je fusionner des fichiers NDJSON avec cet outil ?
Oui. Après le téléchargement, utilisez les boutons fléchés haut et bas à côté de chaque fichier pour les réordonner. La sortie fusionnée suit l'ordre des fichiers de haut en bas.
Combien de fichiers puis-je fusionner à la fois ?
Les lignes vides et les lignes ne contenant que des espaces sont automatiquement filtrées lors de la lecture des fichiers. Elles n'apparaissent pas dans la sortie fusionnée. Cela suit la spécification JSONL où les lignes vides sont ignorées.
Comment diviser un fichier JSONL fusionné ?
Oui. Le fusionneur combine les fichiers indépendamment des différences de schéma. Chaque ligne est préservée telle quelle. Si vous avez besoin de cohérence de schéma, validez ou transformez les fichiers individuellement avant la fusion.
Le fusionneur préserve-t-il l'ordre original des fichiers ?
Oui. Les lignes de chaque fichier conservent leur ordre original. Les fichiers sont concaténés dans l'ordre affiché dans la liste des fichiers. Vous pouvez ajuster l'ordre des fichiers avant la fusion.
Puis-je fusionner des fichiers avec des schémas différents ?
Cet outil fournit une interface visuelle avec téléchargement par glisser-déposer, réordonnancement des fichiers, dédoublonnage, validation JSON, statistiques de comptage de lignes et prévisualisation instantanée. Contrairement à la concaténation manuelle avec les commandes cat ou copy, il gère automatiquement les cas particuliers comme les retours à la ligne en fin de fichier et les lignes vides.