Par Jerry Fan

JSON ou JSONL : quelles différences ?

Un guide complet pour comprendre les formats JSON et JSONL (JSON Lines), leurs différences et les situations dans lesquelles utiliser chacun.

Comparatif rapide

CaractéristiqueJSONJSONL (JSON Lines)
StructureUn seul objet ou tableauUn objet JSON par ligne
Extension de fichier.json.jsonl ou .ndjson
Analyse syntaxiqueAnalyse du fichier entier nécessaireAnalyse possible ligne par ligne
StreamingDifficilePrise en charge native
Gestion des gros fichiersForte consommation de mémoireFaible consommation de mémoire
LisibilitéMise en forme avec indentationCompact, un enregistrement par ligne
Validation par schémaPrise en charge de JSON SchemaValidation par JSON Schema ligne par ligne
Ajout de donnéesRéécriture du fichier entier nécessaireSimple ajout d’une ligne en fin de fichier

Qu’est-ce que JSON ?

JSON (JavaScript Object Notation) est un format léger d’échange de données, facile à lire et à écrire pour les humains, ainsi qu’à analyser et à générer pour les machines. Fondé sur un sous-ensemble de JavaScript, il est devenu le standard de fait pour les échanges de données sur le Web.

Un fichier JSON contient une seule valeur JSON, généralement un objet ou un tableau. Pour accéder aux données qu’il contient, il faut analyser le fichier dans son ensemble.

Exemple de JSON
[
  {"name": "Alice", "age": 30, "city": "New York"},
  {"name": "Bob", "age": 25, "city": "London"},
  {"name": "Charlie", "age": 35, "city": "Tokyo"}
]

Qu’est-ce que JSONL (JSON Lines) ?

JSONL (JSON Lines), aussi appelé Newline Delimited JSON (NDJSON), est un format texte dans lequel chaque ligne contient un objet JSON valide. Les lignes sont séparées par des caractères de saut de ligne (\n). Contrairement au JSON classique, les données ne sont pas regroupées dans un tableau ou un objet global.

Chaque ligne d’un fichier JSONL se suffit à elle-même et peut être analysée indépendamment. JSONL convient donc particulièrement au streaming de données, aux fichiers de logs et au traitement de grands jeux de données sans avoir à tout charger en mémoire.

Exemple de JSONL
{"name": "Alice", "age": 30, "city": "New York"}
{"name": "Bob", "age": 25, "city": "London"}
{"name": "Charlie", "age": 35, "city": "Tokyo"}

Principales différences entre JSON et JSONL

1. Format et structure du fichier

JSON

En JSON, toutes les données sont regroupées dans un seul objet ou tableau. Le fichier doit être syntaxiquement valide dans son ensemble : un crochet manquant à la fin suffit à rendre tout le fichier invalide.

JSONL

JSONL stocke un objet JSON par ligne. Chaque ligne est indépendante : si l’une d’elles contient une erreur, les autres peuvent toujours être analysées.

2. Analyse syntaxique et consommation de mémoire

JSON

Avec JSON, il faut charger et analyser tout le fichier en une seule fois. L’analyse d’un fichier JSON de 1 Go nécessite environ 1 Go de mémoire, voire davantage.

JSONL

Un fichier JSONL peut être lu et analysé ligne par ligne, en streaming. Même un fichier JSONL de 10 Go peut être traité avec très peu de mémoire en lisant une seule ligne à la fois.

3. Streaming et données en temps réel

JSON

JSON n’est pas conçu pour le streaming. Vous devez attendre d’avoir reçu et analysé l’intégralité du fichier ou de la réponse avant de commencer à traiter les données.

JSONL

JSONL se prête parfaitement au streaming. Chaque ligne peut être traitée dès sa réception, ce qui en fait un format idéal pour les flux de données en temps réel, les logs et les événements envoyés par le serveur.

4. Ajout et écriture de données

JSON

Pour ajouter des données à un tableau JSON, il faut lire tout le fichier, l’analyser, ajouter le nouvel élément, puis réécrire l’intégralité du fichier.

JSONL

Pour ajouter des données à un fichier JSONL, il suffit d’ajouter une ligne à la fin. Il n’est pas nécessaire de lire ni de modifier les données existantes. L’opération est en O(1), contre O(n) pour JSON.

5. Lisibilité

JSON

JSON permet une mise en forme avec indentation, ce qui rend les fichiers de configuration et les réponses d’API très lisibles.

JSONL

JSONL privilégie un format compact, avec un enregistrement par ligne. Il est optimisé pour le traitement par les machines plutôt que pour la lecture humaine, même si chaque ligne peut être mise en forme séparément.

Quand utiliser JSON ou JSONL ?

JSONUtilisez JSON lorsque :
  • Vous travaillez avec des fichiers de configuration
  • Vous construisez les corps de requête et de réponse d’une API REST
  • Vous stockez des données structurées de petite taille (moins de 10 Mo)
  • Les données doivent être lisibles et modifiables par un humain
  • Vous travaillez avec des structures de données imbriquées et hiérarchiques
  • Vous échangez des données côté navigateur
JSONLUtilisez JSONL lorsque :
  • Vous traitez de grands jeux de données (100 Mo et plus)
  • Vous diffusez des données en streaming en temps réel
  • Vous écrivez des fichiers de logs et des données d’événements
  • Vous entraînez des modèles de machine learning (OpenAI, Hugging Face)
  • Vous travaillez sur des pipelines ETL et des traitements de données
  • Vous ajoutez fréquemment des données
  • Vous traitez des données avec les outils Unix (grep, awk, sed)

Cas d’usage courants

Machine learning et IA

JSONL

JSONL est le format standard pour les données d’entraînement en machine learning. OpenAI l’utilise pour ses jeux de données de fine-tuning, et de nombreux frameworks de machine learning attendent des données au format JSONL en entrée. Chaque ligne correspond à un exemple d’entraînement.

Logs applicatifs

JSONL

JSONL convient naturellement aux logs serveur, aux événements applicatifs et aux traces d’audit. Chaque événement est écrit sur une seule ligne, ce qui facilite l’ajout de données, la recherche avec grep et le traitement avec des outils de streaming.

API Web et configuration

JSON

Les API REST utilisent généralement JSON pour les corps de requête et de réponse. Les fichiers de configuration (.json) s’appuient sur ce format pour présenter des paramètres structurés et lisibles, avec des objets imbriqués.

Big Data et analyse de données

JSONL

Les pipelines de données, les traitements ETL et les outils d’analyse utilisent JSONL pour traiter de grands volumes de données. Chaque enregistrement peut être traité indépendamment, ce qui permet le traitement parallèle et les approches MapReduce.

Exemples de code

Lire du JSON en JavaScript
// Reading JSON - must load entire file
const data = JSON.parse(fs.readFileSync('data.json', 'utf8'));


// Access data
data.forEach(item => {
  console.log(item.name);
});
Lire du JSONL en JavaScript
// Reading JSONL - stream line by line
import { createReadStream } from 'fs';
import { createInterface } from 'readline';


const rl = createInterface({
  input: createReadStream('data.jsonl')
});


for await (const line of rl) {
  const item = JSON.parse(line);
  console.log(item.name);
}
Convertir JSON en JSONL
// JSON array to JSONL
const jsonArray = JSON.parse(fs.readFileSync('data.json', 'utf8'));
const jsonl = jsonArray
  .map(item => JSON.stringify(item))
  .join('\n');
fs.writeFileSync('data.jsonl', jsonl);
Convertir JSONL en JSON
// JSONL to JSON array
const lines = fs.readFileSync('data.jsonl', 'utf8')
  .split('\n')
  .filter(line => line.trim());
const jsonArray = lines.map(line => JSON.parse(line));
fs.writeFileSync('data.json', JSON.stringify(jsonArray, null, 2));

Essayez notre visualiseur JSONL

Consultez et modifiez instantanément des fichiers JSONL jusqu’à 1 Go dans votre navigateur. Aucun fichier à envoyer, aucune inscription nécessaire.

Questions fréquentes

Références