Validateur JSONL

Validez instantanément vos fichiers JSONL (JSON Lines) en vérifiant la syntaxe JSON de chaque ligne. Le traitement se fait à 100% côté client : vos données ne quittent jamais votre navigateur.

Vérifier selon

Contenu JSONL à valider

Déposez un fichier .jsonl ici ou cliquez pour sélectionner un fichier

Formats acceptés : .jsonl, .ndjson, .json, .txt

Résultat de la validation

Collez du contenu JSONL ou déposez un fichier pour le valider

Comprendre et corriger les erreurs

Presque tous les fichiers JSONL invalides le sont pour l’une de ces six raisons. Ce tableau relie l’erreur affichée à sa cause exacte, au niveau des octets, et à la correction la plus rapide. La RFC 8259 définit des règles strictes pour chacun de ces cas ; JSONL y ajoute la règle d’un enregistrement par ligne :

Exemple de ligne incorrecteProblèmeCorrection
{"a": 1,}Virgule finale : autorisée en JavaScript, interdite en JSONSupprimez la virgule avant } ou ]
{'a': 1}Guillemets simples : les chaînes JSON doivent être entourées de guillemets doublesRemplacez ' par " dans les clés et les valeurs de type chaîne
{"note": "line oneUn retour à la ligne non échappé dans une chaîne répartit l’enregistrement sur plusieurs lignesRemplacez-le par \n pour garder l’enregistrement sur une seule ligne
{"a": 1}Un BOM UTF-8 est accolé au premier enregistrementEnregistrez le fichier sans BOM ou supprimez les trois premiers octets
{"a": 1} {"b": 2}Deux enregistrements sur une même ligne : l’analyseur considère le second comme des données superflues en fin de lignePlacez chaque enregistrement sur une ligne distincte
(ligne vide)Une ligne vide n’est pas un enregistrement au sens strict : certains analyseurs signalent une erreur, d’autres l’ignorentSupprimez les lignes vides ou configurez les outils qui lisent le fichier pour qu’ils les ignorent

Comment valider des fichiers JSONL

La validation JSONL consiste à vérifier que chaque ligne de votre fichier contient du JSON valide. Chaque ligne doit contenir une valeur JSON complète, que l’analyseur peut lire — généralement un objet JSON.

Notre validateur lit votre fichier JSONL entièrement dans le navigateur. Aucune donnée n’est envoyée à un serveur. Il vous suffit de coller votre texte JSONL ou de glisser-déposer un fichier pour obtenir immédiatement les résultats de la validation.

Les lignes contenant des erreurs sont mises en évidence, avec leur numéro et un message précisant l’erreur. Vous pouvez copier le rapport de validation pour le partager avec votre équipe ou vous en servir pour corriger les problèmes.

Vérifier les fichiers de fine-tuning OpenAI

L’envoi d’un fichier de fine-tuning échoue si une seule ligne ne respecte pas le format de chat OpenAI. Sélectionnez « Format de fine-tuning OpenAI » dans le validateur ci-dessus pour repérer toutes les lignes problématiques avant l’envoi. Pour chaque ligne, il vérifie les points suivants :

  • un tableau "messages" présent et non vide
  • un rôle pour chaque message : system, user, assistant ou tool
  • un contenu sous forme de chaîne de caractères ou de liste d’éléments de contenu (un message assistant qui appelle uniquement un outil peut ne pas en avoir)
  • au moins un message assistant, à partir duquel le modèle apprend
  • un champ "weight" valant 0 ou 1, utilisé uniquement pour les messages assistant
  • les lignes à l’ancien format prompt/completion ou au format de préférence (DPO), qui nécessitent une configuration différente

Il compte également les exemples et les messages, signale les fichiers contenant moins de 10 exemples, le minimum requis par OpenAI, et fournit une estimation du nombre de tokens pour vous aider à évaluer le volume d’un entraînement. Pour en savoir plus sur le format, consultez le guide du format JSONL pour OpenAI.

Erreurs courantes et solutions

Virgules finales dans les objets JSON

Une virgule après la dernière paire clé-valeur d’un objet JSON (par exemple, {"name":"Alice",}) rend le JSON invalide. Pour corriger cette erreur de syntaxe courante, supprimez la virgule après la dernière propriété sur chaque ligne.

Clés de propriétés sans guillemets

En JSON, toutes les clés de propriétés doivent être entourées de guillemets doubles. Une écriture comme {name:"Alice"} échoue à la validation. Veillez à utiliser des guillemets doubles pour toutes les clés : {"name":"Alice"}.

Séquences d'échappement invalides dans les chaînes

JSON n’accepte que certaines séquences d’échappement (\n, \t, \", \\, etc.). Les séquences invalides comme \x ou \' provoquent des erreurs d’analyse. Utilisez les séquences d’échappement JSON appropriées ou encodez les caractères spéciaux en Unicode (\uXXXX).

Valider en CI et en ligne de commande

Utilisez ces commandes pour vérifier que chaque ligne contient exactement une valeur JSON avant de lancer un pipeline. Elles lisent une ligne à la fois : la consommation de mémoire dépend donc de l'enregistrement le plus volumineux, et non du fichier entier. Les lignes vides sont rejetées ; le saut de ligne final est facultatif.

# jq: parse each line and stop on the first error; empty needs no -e
jq -R 'try (
  if startswith("\uFEFF") then error("UTF-8 BOM is not allowed")
  else fromjson end | empty
) catch halt_error(1)' data.jsonl && echo OK


# Python: reject non-standard constants and report the first broken line
python3 - <<'PYTHON'
import json
import sys


def reject_constant(value):
    raise ValueError(f"Invalid JSON constant: {value}")


with open("data.jsonl", "r", encoding="utf-8") as source:
    for line_number, line in enumerate(source, 1):
        try:
            json.loads(line, parse_constant=reject_constant)
        except ValueError as error:
            sys.exit(f"Line {line_number}: {error}")
print("OK")
PYTHON

Ces contrôles ne vérifient ni les champs obligatoires, ni les types des champs, ni les règles applicables aux données d'entraînement OpenAI. Utilisez une validation de schéma pour cela. jq accepte certains littéraux numériques non standard, dont NaN et Infinity. Utilisez l'exemple Python si ces valeurs doivent être rejetées.

Qu'est-ce que la validation JSONL ?

La validation JSONL consiste à vérifier que chaque ligne d’un fichier JSONL contient du JSON dont la syntaxe est correcte. Cette vérification est essentielle avant d’utiliser ces fichiers pour entraîner des modèles de machine learning, effectuer des opérations par lots via une API ou traiter des données dans un pipeline.

La validation détecte notamment les virgules manquantes ou superflues, les clés sans guillemets, les virgules finales, les crochets mal appariés, les séquences d’échappement invalides et les problèmes d’encodage, comme la présence de caractères BOM.

Cas d'utilisation courants

Contrôle de la qualité des données
Validez vos exports JSONL avant de les importer dans des bases de données ou des plateformes d’analyse pour éviter de corrompre les données.
Validation des jeux de données de machine learning
Vérifiez le format de vos jeux de données de fine-tuning OpenAI et de vos données d’entraînement Hugging Face avant de les envoyer.
Débogage des pipelines de données
Repérez les lignes mal formées dans les fichiers de logs JSONL et les données produites en streaming.
Vérification avant envoi
Validez vos fichiers JSONL avant de les envoyer à des API qui imposent un respect strict du format.
Validation dans les pipelines CI/CD
Ajoutez une étape de validation JSONL à vos pipelines CI/CD pour détecter les fichiers de données mal formés avant leur arrivée en production.
Vérification de la cohérence du schéma
Vérifiez que toutes les lignes d’un fichier JSONL peuvent être analysées correctement, puis examinez les enregistrements pour voir s’ils respectent une structure de schéma cohérente.

Questions fréquentes

Que vérifie la validation JSONL ?

La validation JSONL vérifie que chaque ligne non vide de votre fichier contient du JSON dont la syntaxe est valide. Elle contrôle l’appariement des crochets, les guillemets des chaînes, la validité des séquences d’échappement et la structure globale du JSON.

Mes données sont-elles en sécurité pendant la validation ?

Oui. Toute la validation s’effectue localement dans votre navigateur. Aucune donnée n’est envoyée à un serveur. Votre contenu JSONL ne quitte jamais votre appareil.

Puis-je valider de gros fichiers JSONL ?

Oui. Le validateur peut traiter des fichiers volumineux, car il analyse chaque ligne indépendamment. Pour les fichiers très volumineux (100 Mo+), la validation peut prendre quelques secondes.

Que faire si la validation échoue ?

Consultez le détail des erreurs de chaque ligne invalide. Les corrections les plus courantes consistent à ajouter les guillemets manquants, à supprimer les virgules finales et à vérifier l’appariement des crochets. Vous pouvez aussi utiliser notre outil de formatage JSONL pour repérer les problèmes de mise en forme.

Le validateur vérifie-t-il la cohérence des schémas entre les lignes ?

Le validateur vérifie uniquement la syntaxe JSON, sans contrôler la cohérence du schéma. Chaque ligne est validée indépendamment pour vérifier qu’elle contient du JSON valide. Pour valider le schéma, vous devez utiliser un validateur JSON Schema en complément de la vérification syntaxique.

Puis-je valider des fichiers NDJSON ou JSON Lines portant d’autres extensions ?

Oui. Le validateur accepte les fichiers avec les extensions .jsonl, .ndjson, .json et .txt. Quelle que soit l’extension, le contenu est traité de la même façon : chaque ligne non vide est validée en tant que JSON.

Comment les lignes vides et celles qui ne contiennent que des espaces sont-elles traitées ?

Les lignes vides et celles qui ne contiennent que des espaces sont automatiquement ignorées lors de la validation. Elles ne sont pas comptées comme des erreurs et ne figurent pas dans le rapport de validation. Ce comportement suit la spécification JSONL.

Cet outil peut-il corriger automatiquement les fichiers JSONL invalides ?

Le validateur repère et signale les erreurs, mais ne les corrige pas automatiquement. Une correction automatique risquerait de modifier les données prévues. Appuyez-vous sur le détail des erreurs pour corriger chaque problème manuellement, puis relancez la validation pour vérifier que toutes les lignes sont valides.

Outils et guides associés