Validateur JSONL
Validez instantanément vos fichiers JSONL (JSON Lines) en vérifiant la syntaxe JSON de chaque ligne. Le traitement se fait à 100% côté client : vos données ne quittent jamais votre navigateur.
Contenu JSONL à valider
Déposez un fichier .jsonl ici ou cliquez pour sélectionner un fichier
Formats acceptés : .jsonl, .ndjson, .json, .txt
Résultat de la validation
Collez du contenu JSONL ou déposez un fichier pour le valider
Comprendre et corriger les erreurs
Presque tous les fichiers JSONL invalides le sont pour l’une de ces six raisons. Ce tableau relie l’erreur affichée à sa cause exacte, au niveau des octets, et à la correction la plus rapide. La RFC 8259 définit des règles strictes pour chacun de ces cas ; JSONL y ajoute la règle d’un enregistrement par ligne :
| Exemple de ligne incorrecte | Problème | Correction |
|---|---|---|
| {"a": 1,} | Virgule finale : autorisée en JavaScript, interdite en JSON | Supprimez la virgule avant } ou ] |
| {'a': 1} | Guillemets simples : les chaînes JSON doivent être entourées de guillemets doubles | Remplacez ' par " dans les clés et les valeurs de type chaîne |
| {"note": "line one | Un retour à la ligne non échappé dans une chaîne répartit l’enregistrement sur plusieurs lignes | Remplacez-le par \n pour garder l’enregistrement sur une seule ligne |
| {"a": 1} | Un BOM UTF-8 est accolé au premier enregistrement | Enregistrez le fichier sans BOM ou supprimez les trois premiers octets |
| {"a": 1} {"b": 2} | Deux enregistrements sur une même ligne : l’analyseur considère le second comme des données superflues en fin de ligne | Placez chaque enregistrement sur une ligne distincte |
| (ligne vide) | Une ligne vide n’est pas un enregistrement au sens strict : certains analyseurs signalent une erreur, d’autres l’ignorent | Supprimez les lignes vides ou configurez les outils qui lisent le fichier pour qu’ils les ignorent |
Comment valider des fichiers JSONL
La validation JSONL consiste à vérifier que chaque ligne de votre fichier contient du JSON valide. Chaque ligne doit contenir une valeur JSON complète, que l’analyseur peut lire — généralement un objet JSON.
Notre validateur lit votre fichier JSONL entièrement dans le navigateur. Aucune donnée n’est envoyée à un serveur. Il vous suffit de coller votre texte JSONL ou de glisser-déposer un fichier pour obtenir immédiatement les résultats de la validation.
Les lignes contenant des erreurs sont mises en évidence, avec leur numéro et un message précisant l’erreur. Vous pouvez copier le rapport de validation pour le partager avec votre équipe ou vous en servir pour corriger les problèmes.
Vérifier les fichiers de fine-tuning OpenAI
L’envoi d’un fichier de fine-tuning échoue si une seule ligne ne respecte pas le format de chat OpenAI. Sélectionnez « Format de fine-tuning OpenAI » dans le validateur ci-dessus pour repérer toutes les lignes problématiques avant l’envoi. Pour chaque ligne, il vérifie les points suivants :
- un tableau "messages" présent et non vide
- un rôle pour chaque message : system, user, assistant ou tool
- un contenu sous forme de chaîne de caractères ou de liste d’éléments de contenu (un message assistant qui appelle uniquement un outil peut ne pas en avoir)
- au moins un message assistant, à partir duquel le modèle apprend
- un champ "weight" valant 0 ou 1, utilisé uniquement pour les messages assistant
- les lignes à l’ancien format prompt/completion ou au format de préférence (DPO), qui nécessitent une configuration différente
Il compte également les exemples et les messages, signale les fichiers contenant moins de 10 exemples, le minimum requis par OpenAI, et fournit une estimation du nombre de tokens pour vous aider à évaluer le volume d’un entraînement. Pour en savoir plus sur le format, consultez le guide du format JSONL pour OpenAI.
Erreurs courantes et solutions
Virgules finales dans les objets JSON
Une virgule après la dernière paire clé-valeur d’un objet JSON (par exemple, {"name":"Alice",}) rend le JSON invalide. Pour corriger cette erreur de syntaxe courante, supprimez la virgule après la dernière propriété sur chaque ligne.
Clés de propriétés sans guillemets
En JSON, toutes les clés de propriétés doivent être entourées de guillemets doubles. Une écriture comme {name:"Alice"} échoue à la validation. Veillez à utiliser des guillemets doubles pour toutes les clés : {"name":"Alice"}.
Séquences d'échappement invalides dans les chaînes
JSON n’accepte que certaines séquences d’échappement (\n, \t, \", \\, etc.). Les séquences invalides comme \x ou \' provoquent des erreurs d’analyse. Utilisez les séquences d’échappement JSON appropriées ou encodez les caractères spéciaux en Unicode (\uXXXX).
Valider en CI et en ligne de commande
Utilisez ces commandes pour vérifier que chaque ligne contient exactement une valeur JSON avant de lancer un pipeline. Elles lisent une ligne à la fois : la consommation de mémoire dépend donc de l'enregistrement le plus volumineux, et non du fichier entier. Les lignes vides sont rejetées ; le saut de ligne final est facultatif.
# jq: parse each line and stop on the first error; empty needs no -e
jq -R 'try (
if startswith("\uFEFF") then error("UTF-8 BOM is not allowed")
else fromjson end | empty
) catch halt_error(1)' data.jsonl && echo OK
# Python: reject non-standard constants and report the first broken line
python3 - <<'PYTHON'
import json
import sys
def reject_constant(value):
raise ValueError(f"Invalid JSON constant: {value}")
with open("data.jsonl", "r", encoding="utf-8") as source:
for line_number, line in enumerate(source, 1):
try:
json.loads(line, parse_constant=reject_constant)
except ValueError as error:
sys.exit(f"Line {line_number}: {error}")
print("OK")
PYTHONCes contrôles ne vérifient ni les champs obligatoires, ni les types des champs, ni les règles applicables aux données d'entraînement OpenAI. Utilisez une validation de schéma pour cela. jq accepte certains littéraux numériques non standard, dont NaN et Infinity. Utilisez l'exemple Python si ces valeurs doivent être rejetées.
Qu'est-ce que la validation JSONL ?
La validation JSONL consiste à vérifier que chaque ligne d’un fichier JSONL contient du JSON dont la syntaxe est correcte. Cette vérification est essentielle avant d’utiliser ces fichiers pour entraîner des modèles de machine learning, effectuer des opérations par lots via une API ou traiter des données dans un pipeline.
La validation détecte notamment les virgules manquantes ou superflues, les clés sans guillemets, les virgules finales, les crochets mal appariés, les séquences d’échappement invalides et les problèmes d’encodage, comme la présence de caractères BOM.
Cas d'utilisation courants
- Contrôle de la qualité des données
- Validez vos exports JSONL avant de les importer dans des bases de données ou des plateformes d’analyse pour éviter de corrompre les données.
- Validation des jeux de données de machine learning
- Vérifiez le format de vos jeux de données de fine-tuning OpenAI et de vos données d’entraînement Hugging Face avant de les envoyer.
- Débogage des pipelines de données
- Repérez les lignes mal formées dans les fichiers de logs JSONL et les données produites en streaming.
- Vérification avant envoi
- Validez vos fichiers JSONL avant de les envoyer à des API qui imposent un respect strict du format.
- Validation dans les pipelines CI/CD
- Ajoutez une étape de validation JSONL à vos pipelines CI/CD pour détecter les fichiers de données mal formés avant leur arrivée en production.
- Vérification de la cohérence du schéma
- Vérifiez que toutes les lignes d’un fichier JSONL peuvent être analysées correctement, puis examinez les enregistrements pour voir s’ils respectent une structure de schéma cohérente.
Questions fréquentes
Que vérifie la validation JSONL ?
La validation JSONL vérifie que chaque ligne non vide de votre fichier contient du JSON dont la syntaxe est valide. Elle contrôle l’appariement des crochets, les guillemets des chaînes, la validité des séquences d’échappement et la structure globale du JSON.
Mes données sont-elles en sécurité pendant la validation ?
Oui. Toute la validation s’effectue localement dans votre navigateur. Aucune donnée n’est envoyée à un serveur. Votre contenu JSONL ne quitte jamais votre appareil.
Puis-je valider de gros fichiers JSONL ?
Oui. Le validateur peut traiter des fichiers volumineux, car il analyse chaque ligne indépendamment. Pour les fichiers très volumineux (100 Mo+), la validation peut prendre quelques secondes.
Que faire si la validation échoue ?
Consultez le détail des erreurs de chaque ligne invalide. Les corrections les plus courantes consistent à ajouter les guillemets manquants, à supprimer les virgules finales et à vérifier l’appariement des crochets. Vous pouvez aussi utiliser notre outil de formatage JSONL pour repérer les problèmes de mise en forme.
Le validateur vérifie-t-il la cohérence des schémas entre les lignes ?
Le validateur vérifie uniquement la syntaxe JSON, sans contrôler la cohérence du schéma. Chaque ligne est validée indépendamment pour vérifier qu’elle contient du JSON valide. Pour valider le schéma, vous devez utiliser un validateur JSON Schema en complément de la vérification syntaxique.
Puis-je valider des fichiers NDJSON ou JSON Lines portant d’autres extensions ?
Oui. Le validateur accepte les fichiers avec les extensions .jsonl, .ndjson, .json et .txt. Quelle que soit l’extension, le contenu est traité de la même façon : chaque ligne non vide est validée en tant que JSON.
Comment les lignes vides et celles qui ne contiennent que des espaces sont-elles traitées ?
Les lignes vides et celles qui ne contiennent que des espaces sont automatiquement ignorées lors de la validation. Elles ne sont pas comptées comme des erreurs et ne figurent pas dans le rapport de validation. Ce comportement suit la spécification JSONL.
Cet outil peut-il corriger automatiquement les fichiers JSONL invalides ?
Le validateur repère et signale les erreurs, mais ne les corrige pas automatiquement. Une correction automatique risquerait de modifier les données prévues. Appuyez-vous sur le détail des erreurs pour corriger chaque problème manuellement, puis relancez la validation pour vérifier que toutes les lignes sont valides.
Outils et guides associés
Mettez en forme vos fichiers JSONL avec une indentation adaptée pour les rendre plus lisibles et faciliter le débogage et la revue des données.
Un guide complet pour préparer vos fichiers JSONL destinés à OpenAI : format des données de fine-tuning, requêtes de l’API Batch, erreurs courantes et conseils de validation.
Apprenez à valider des fichiers JSONL avec JSON Schema. Couvre Python, Node.js, les outils CLI et l’automatisation CI/CD.
Apprenez à structurer vos fichiers JSONL pour l’API Batch d’OpenAI : format des requêtes, analyse des réponses et workflow complet avec des exemples de code.
Divisez les grands fichiers JSONL en morceaux plus petits et gérables par nombre de lignes.