- Início
- Ferramentas
- Validador JSONL
Validador JSONL
Valide seus arquivos JSONL (JSON Lines) instantaneamente. Verifique cada linha para sintaxe JSON correta. 100% no lado do cliente, seus dados nunca saem do seu navegador.
JSONL de entrada
Arraste e solte um arquivo .jsonl aqui ou clique para selecionar
Aceita arquivos .jsonl, .ndjson, .json e .txt
Resultado da validação
Cole ou arraste conteúdo JSONL para validar
Referência de erros: o problema e como corrigir
Quase todo arquivo JSONL inválido apresenta um destes seis problemas. A tabela relaciona cada erro à sua causa exata no nível dos bytes e à forma mais rápida de corrigi-lo. A RFC 8259 define regras estritas de JSON para todos esses casos, e o JSONL acrescenta a regra de um registro por linha:
| Exemplo de linha com erro | Problema | Correção |
|---|---|---|
| {"a": 1,} | Vírgula após o último elemento — permitida em JavaScript, mas inválida em JSON | Remova a vírgula antes de } ou ] |
| {'a': 1} | Aspas simples — strings em JSON exigem aspas duplas | Substitua ' por " nas chaves e nos valores de string |
| {"note": "line one | Uma quebra de linha sem escape dentro de uma string divide o registro em várias linhas | Use a sequência de escape \n para manter o registro em uma única linha |
| {"a": 1} | BOM UTF-8 no início do primeiro registro | Salve sem BOM ou remova os três primeiros bytes |
| {"a": 1} {"b": 2} | Dois registros na mesma linha — o parser encontra conteúdo extra no final | Coloque cada registro em uma linha separada |
| (linha em branco) | A rigor, não é um registro; alguns parsers retornam um erro, outros ignoram a linha | Remova as linhas em branco ou configure os sistemas que leem os dados para ignorá-las |
Como validar arquivos JSONL
A validação de JSONL verifica cada linha do arquivo para garantir que contenha JSON válido. Cada linha deve conter um valor JSON completo que possa ser interpretado por um parser — geralmente, um objeto JSON.
Nosso validador lê todo o arquivo JSONL no navegador. Nenhum dado é enviado a servidores. Basta colar o texto JSONL ou arrastar e soltar um arquivo para ver o resultado da validação na hora.
As linhas com erros ficam destacadas, com o número da linha e a mensagem de erro correspondente. Você pode copiar o relatório de validação para compartilhar com sua equipe ou usá-lo para corrigir os problemas.
Como verificar arquivos de fine-tuning da OpenAI
O upload de um arquivo de fine-tuning falha se alguma linha não seguir o formato de chat da OpenAI. Selecione o formato de fine-tuning da OpenAI no validador acima para encontrar todas as linhas com problemas antes de fazer o upload. Em cada linha, ele verifica:
- a presença de um array "messages" que não esteja vazio
- um papel em cada mensagem: system, user, assistant ou tool
- conteúdo em uma string ou em uma lista de partes de conteúdo (uma mensagem de assistant que apenas chama uma ferramenta pode omitir o conteúdo)
- pelo menos uma mensagem de assistant, com a qual o modelo aprende
- um "weight" de 0 ou 1, usado apenas em mensagens de assistant
- linhas no formato antigo prompt/completion ou no formato de preferência (DPO), que exigem uma configuração diferente
Ele também conta os exemplos e as mensagens, avisa quando um arquivo tem menos que os 10 exemplos exigidos pela OpenAI e fornece uma estimativa aproximada de tokens para você avaliar o tamanho do treinamento. Para saber mais sobre o formato, consulte o guia do formato JSONL da OpenAI.
Erros comuns e soluções
Vírgulas finais em objetos JSON
Uma vírgula após o último par chave-valor de um objeto JSON (por exemplo, {"name":"Alice",}) torna o JSON inválido. Remova a vírgula após a última propriedade de cada linha para corrigir esse erro comum de sintaxe.
Chaves de propriedades sem aspas
Em JSON, todas as chaves de propriedades devem estar entre aspas duplas. Chaves como {name:"Alice"} não passam na validação. Confira se todas as chaves estão entre aspas duplas: {"name":"Alice"}.
Sequências de escape inválidas em strings
JSON aceita apenas sequências de escape específicas (\n, \t, \", \\, etc.). Sequências inválidas, como \x ou \', causam erros de parsing. Use as sequências de escape corretas de JSON ou codifique os caracteres especiais em Unicode (\uXXXX).
Validação em CI e na linha de comando
Use estes comandos para verificar se cada linha contém exatamente um valor JSON antes de executar um pipeline. Eles leem uma linha por vez, então o uso de memória depende do maior registro, e não do arquivo inteiro. Linhas vazias são rejeitadas; a quebra de linha final é opcional.
# jq: parse each line and stop on the first error; empty needs no -e
jq -R 'try (
if startswith("\uFEFF") then error("UTF-8 BOM is not allowed")
else fromjson end | empty
) catch halt_error(1)' data.jsonl && echo OK
# Python: reject non-standard constants and report the first broken line
python3 - <<'PYTHON'
import json
import sys
def reject_constant(value):
raise ValueError(f"Invalid JSON constant: {value}")
with open("data.jsonl", "r", encoding="utf-8") as source:
for line_number, line in enumerate(source, 1):
try:
json.loads(line, parse_constant=reject_constant)
except ValueError as error:
sys.exit(f"Line {line_number}: {error}")
print("OK")
PYTHONEssas verificações não validam campos obrigatórios, tipos de campos nem regras de dados de treinamento da OpenAI; use a validação de schema para isso. O jq aceita alguns literais numéricos fora do padrão, incluindo NaN e Infinity. Use o exemplo em Python quando for necessário rejeitá-los.
O que é a validação de JSONL?
A validação de JSONL verifica se cada linha de um arquivo JSONL contém JSON com sintaxe correta. Essa verificação é essencial antes de usar arquivos JSONL no treinamento de modelos de machine learning, em operações em lote de APIs ou no processamento em pipelines de dados.
Entre os problemas comuns detectados pela validação estão vírgulas ausentes ou em excesso, chaves sem aspas, vírgulas após o último elemento, colchetes sem o par correspondente, sequências de escape inválidas e problemas de codificação, como caracteres BOM.
Casos de uso comuns
- Garantia da qualidade dos dados
- Valide os arquivos JSONL exportados antes de importá-los para bancos de dados ou plataformas de análise para evitar a corrupção dos dados.
- Validação de datasets de ML
- Confira se os datasets de fine-tuning da OpenAI e os dados de treinamento do Hugging Face estão no formato correto antes de fazer o upload.
- Depuração de pipelines de dados
- Identifique linhas malformadas em arquivos de log JSONL e em saídas de dados em streaming.
- Verificação antes do upload
- Valide arquivos JSONL antes de enviá-los a APIs que exigem conformidade estrita com o formato.
- Validação em pipelines de CI/CD
- Inclua a validação de JSONL como uma etapa dos pipelines de CI/CD para detectar arquivos de dados malformados antes que cheguem aos ambientes de produção.
- Verificação da consistência do schema
- Verifique se o parser consegue interpretar todas as linhas de um arquivo JSONL e confira visualmente se os registros seguem uma estrutura de schema consistente.
Perguntas frequentes
O que a validação de JSONL verifica?
A validação de JSONL verifica se cada linha não vazia do arquivo contém JSON com sintaxe válida. Ela confere se os colchetes têm seus pares correspondentes, se as strings estão entre aspas corretamente, se as sequências de escape são válidas e se a estrutura geral do JSON está correta.
Meus dados estão seguros durante a validação?
Sim. Toda a validação é feita localmente no seu navegador. Nenhum dado é enviado a servidores. Seu conteúdo JSONL nunca sai do seu dispositivo.
Posso validar arquivos JSONL grandes?
Sim. O validador consegue lidar com arquivos grandes porque processa cada linha de forma independente. Para arquivos muito grandes (100MB+), a validação pode levar alguns segundos.
O que devo fazer se a validação falhar?
Confira os detalhes dos erros de cada linha inválida. As correções mais comuns são adicionar aspas ausentes, remover vírgulas após o último elemento e garantir que os colchetes tenham seus pares correspondentes. Você também pode usar nosso Formatador JSONL para ajudar a identificar problemas de formatação.
O validador verifica se o esquema é consistente entre as linhas?
O validador verifica apenas a sintaxe JSON, sem conferir a consistência do schema. Cada linha é validada de forma independente para garantir que contenha JSON válido. Para validar o schema, você precisa de um validador JSON Schema além da verificação de sintaxe.
Posso validar arquivos NDJSON ou JSON Lines com outras extensões?
Sim. O validador aceita arquivos com as extensões .jsonl, .ndjson, .json e .txt. O conteúdo é tratado da mesma forma, independentemente da extensão: cada linha não vazia é validada como JSON.
Como linhas vazias e linhas que contêm apenas espaços em branco são tratadas na validação?
Linhas vazias e linhas que contêm apenas espaços em branco são ignoradas automaticamente durante a validação. Elas não contam como erros nem aparecem no relatório de validação. Esse comportamento segue a especificação JSONL.
Esta ferramenta pode corrigir JSONL inválido automaticamente?
O validador identifica e informa os erros, mas não os corrige automaticamente. Uma correção automática poderia alterar os dados pretendidos. Use os detalhes dos erros para corrigir cada problema manualmente e valide novamente para confirmar que todas as linhas passam na validação.
Ferramentas e guias relacionados
Formate arquivos JSONL com a indentação adequada para facilitar a leitura, a depuração e a revisão dos dados.
Guia completo para preparar arquivos JSONL para a OpenAI. Conheça o formato dos dados de fine-tuning, as requisições da Batch API, os erros comuns e as dicas de validação.
Aprenda a validar arquivos JSONL usando JSON Schema. Abrange ferramentas Python, Node.js, CLI e automacao CI/CD.
Aprenda a estruturar arquivos JSONL para a Batch API da OpenAI. Veja o formato das requisições, a interpretação das respostas e o fluxo de trabalho completo, com exemplos de código.
Divida arquivos JSONL grandes em partes menores e gerenciáveis por número de linhas.