JSON ou JSONL : quelles différences ?
Un guide complet pour comprendre les formats JSON et JSONL (JSON Lines), leurs différences et les situations dans lesquelles utiliser chacun.
Comparatif rapide
| Caractéristique | JSON | JSONL (JSON Lines) |
|---|---|---|
| Structure | Un seul objet ou tableau | Un objet JSON par ligne |
| Extension de fichier | .json | .jsonl ou .ndjson |
| Analyse syntaxique | Analyse du fichier entier nécessaire | Analyse possible ligne par ligne |
| Streaming | Difficile | Prise en charge native |
| Gestion des gros fichiers | Forte consommation de mémoire | Faible consommation de mémoire |
| Lisibilité | Mise en forme avec indentation | Compact, un enregistrement par ligne |
| Validation par schéma | Prise en charge de JSON Schema | Validation par JSON Schema ligne par ligne |
| Ajout de données | Réécriture du fichier entier nécessaire | Simple ajout d’une ligne en fin de fichier |
Qu’est-ce que JSON ?
JSON (JavaScript Object Notation) est un format léger d’échange de données, facile à lire et à écrire pour les humains, ainsi qu’à analyser et à générer pour les machines. Fondé sur un sous-ensemble de JavaScript, il est devenu le standard de fait pour les échanges de données sur le Web.
Un fichier JSON contient une seule valeur JSON, généralement un objet ou un tableau. Pour accéder aux données qu’il contient, il faut analyser le fichier dans son ensemble.
[
{"name": "Alice", "age": 30, "city": "New York"},
{"name": "Bob", "age": 25, "city": "London"},
{"name": "Charlie", "age": 35, "city": "Tokyo"}
]Qu’est-ce que JSONL (JSON Lines) ?
JSONL (JSON Lines), aussi appelé Newline Delimited JSON (NDJSON), est un format texte dans lequel chaque ligne contient un objet JSON valide. Les lignes sont séparées par des caractères de saut de ligne (\n). Contrairement au JSON classique, les données ne sont pas regroupées dans un tableau ou un objet global.
Chaque ligne d’un fichier JSONL se suffit à elle-même et peut être analysée indépendamment. JSONL convient donc particulièrement au streaming de données, aux fichiers de logs et au traitement de grands jeux de données sans avoir à tout charger en mémoire.
{"name": "Alice", "age": 30, "city": "New York"}
{"name": "Bob", "age": 25, "city": "London"}
{"name": "Charlie", "age": 35, "city": "Tokyo"}Principales différences entre JSON et JSONL
1. Format et structure du fichier
En JSON, toutes les données sont regroupées dans un seul objet ou tableau. Le fichier doit être syntaxiquement valide dans son ensemble : un crochet manquant à la fin suffit à rendre tout le fichier invalide.
JSONL stocke un objet JSON par ligne. Chaque ligne est indépendante : si l’une d’elles contient une erreur, les autres peuvent toujours être analysées.
2. Analyse syntaxique et consommation de mémoire
Avec JSON, il faut charger et analyser tout le fichier en une seule fois. L’analyse d’un fichier JSON de 1 Go nécessite environ 1 Go de mémoire, voire davantage.
Un fichier JSONL peut être lu et analysé ligne par ligne, en streaming. Même un fichier JSONL de 10 Go peut être traité avec très peu de mémoire en lisant une seule ligne à la fois.
3. Streaming et données en temps réel
JSON n’est pas conçu pour le streaming. Vous devez attendre d’avoir reçu et analysé l’intégralité du fichier ou de la réponse avant de commencer à traiter les données.
JSONL se prête parfaitement au streaming. Chaque ligne peut être traitée dès sa réception, ce qui en fait un format idéal pour les flux de données en temps réel, les logs et les événements envoyés par le serveur.
4. Ajout et écriture de données
Pour ajouter des données à un tableau JSON, il faut lire tout le fichier, l’analyser, ajouter le nouvel élément, puis réécrire l’intégralité du fichier.
Pour ajouter des données à un fichier JSONL, il suffit d’ajouter une ligne à la fin. Il n’est pas nécessaire de lire ni de modifier les données existantes. L’opération est en O(1), contre O(n) pour JSON.
5. Lisibilité
JSON permet une mise en forme avec indentation, ce qui rend les fichiers de configuration et les réponses d’API très lisibles.
JSONL privilégie un format compact, avec un enregistrement par ligne. Il est optimisé pour le traitement par les machines plutôt que pour la lecture humaine, même si chaque ligne peut être mise en forme séparément.
Quand utiliser JSON ou JSONL ?
- Vous travaillez avec des fichiers de configuration
- Vous construisez les corps de requête et de réponse d’une API REST
- Vous stockez des données structurées de petite taille (moins de 10 Mo)
- Les données doivent être lisibles et modifiables par un humain
- Vous travaillez avec des structures de données imbriquées et hiérarchiques
- Vous échangez des données côté navigateur
- Vous traitez de grands jeux de données (100 Mo et plus)
- Vous diffusez des données en streaming en temps réel
- Vous écrivez des fichiers de logs et des données d’événements
- Vous entraînez des modèles de machine learning (OpenAI, Hugging Face)
- Vous travaillez sur des pipelines ETL et des traitements de données
- Vous ajoutez fréquemment des données
- Vous traitez des données avec les outils Unix (grep, awk, sed)
Cas d’usage courants
Machine learning et IA
JSONLJSONL est le format standard pour les données d’entraînement en machine learning. OpenAI l’utilise pour ses jeux de données de fine-tuning, et de nombreux frameworks de machine learning attendent des données au format JSONL en entrée. Chaque ligne correspond à un exemple d’entraînement.
Logs applicatifs
JSONLJSONL convient naturellement aux logs serveur, aux événements applicatifs et aux traces d’audit. Chaque événement est écrit sur une seule ligne, ce qui facilite l’ajout de données, la recherche avec grep et le traitement avec des outils de streaming.
API Web et configuration
JSONLes API REST utilisent généralement JSON pour les corps de requête et de réponse. Les fichiers de configuration (.json) s’appuient sur ce format pour présenter des paramètres structurés et lisibles, avec des objets imbriqués.
Big Data et analyse de données
JSONLLes pipelines de données, les traitements ETL et les outils d’analyse utilisent JSONL pour traiter de grands volumes de données. Chaque enregistrement peut être traité indépendamment, ce qui permet le traitement parallèle et les approches MapReduce.
Exemples de code
// Reading JSON - must load entire file
const data = JSON.parse(fs.readFileSync('data.json', 'utf8'));
// Access data
data.forEach(item => {
console.log(item.name);
});// Reading JSONL - stream line by line
import { createReadStream } from 'fs';
import { createInterface } from 'readline';
const rl = createInterface({
input: createReadStream('data.jsonl')
});
for await (const line of rl) {
const item = JSON.parse(line);
console.log(item.name);
}// JSON array to JSONL
const jsonArray = JSON.parse(fs.readFileSync('data.json', 'utf8'));
const jsonl = jsonArray
.map(item => JSON.stringify(item))
.join('\n');
fs.writeFileSync('data.jsonl', jsonl);// JSONL to JSON array
const lines = fs.readFileSync('data.jsonl', 'utf8')
.split('\n')
.filter(line => line.trim());
const jsonArray = lines.map(line => JSON.parse(line));
fs.writeFileSync('data.json', JSON.stringify(jsonArray, null, 2));Convertir JSON & JSONL en ligne
Utilisez nos outils en ligne gratuits pour passer instantanément de JSON à JSONL et inversement, sans rien installer.
Convertissez vos fichiers JSONL en un tableau JSON standard, adapté aux API et aux pipelines de traitement de données.
Convertissez des tableaux JSON au format JSONL. Idéal pour préparer des données destinées au streaming et à l’entraînement de modèles de machine learning.
Découvrez ce qu’est JSONL (JSON Lines), ce qui le distingue du JSON classique et pourquoi il s’impose pour les données en streaming, les fichiers de logs et les jeux de données de machine learning.
Maîtrisez les bonnes pratiques JSONL : mise en forme, cohérence des schémas, gestion des erreurs, optimisation des performances et organisation des fichiers. Des exemples concrets vous aident à éviter les pièges courants.
Les stratégies pour traiter des gigaoctets de données JSONL : lecture en streaming, gestion de la mémoire, découpage des fichiers, compression et outils en ligne.