Validador JSONL

Valide seus arquivos JSONL (JSON Lines) instantaneamente. Verifique cada linha para sintaxe JSON correta. 100% no lado do cliente, seus dados nunca saem do seu navegador.

Verificar conforme

JSONL de entrada

Arraste e solte um arquivo .jsonl aqui ou clique para selecionar

Aceita arquivos .jsonl, .ndjson, .json e .txt

Resultado da validação

Cole ou arraste conteúdo JSONL para validar

Referência de erros: o problema e como corrigir

Quase todo arquivo JSONL inválido apresenta um destes seis problemas. A tabela relaciona cada erro à sua causa exata no nível dos bytes e à forma mais rápida de corrigi-lo. A RFC 8259 define regras estritas de JSON para todos esses casos, e o JSONL acrescenta a regra de um registro por linha:

Exemplo de linha com erroProblemaCorreção
{"a": 1,}Vírgula após o último elemento — permitida em JavaScript, mas inválida em JSONRemova a vírgula antes de } ou ]
{'a': 1}Aspas simples — strings em JSON exigem aspas duplasSubstitua ' por " nas chaves e nos valores de string
{"note": "line oneUma quebra de linha sem escape dentro de uma string divide o registro em várias linhasUse a sequência de escape \n para manter o registro em uma única linha
{"a": 1}BOM UTF-8 no início do primeiro registroSalve sem BOM ou remova os três primeiros bytes
{"a": 1} {"b": 2}Dois registros na mesma linha — o parser encontra conteúdo extra no finalColoque cada registro em uma linha separada
(linha em branco)A rigor, não é um registro; alguns parsers retornam um erro, outros ignoram a linhaRemova as linhas em branco ou configure os sistemas que leem os dados para ignorá-las

Como validar arquivos JSONL

A validação de JSONL verifica cada linha do arquivo para garantir que contenha JSON válido. Cada linha deve conter um valor JSON completo que possa ser interpretado por um parser — geralmente, um objeto JSON.

Nosso validador lê todo o arquivo JSONL no navegador. Nenhum dado é enviado a servidores. Basta colar o texto JSONL ou arrastar e soltar um arquivo para ver o resultado da validação na hora.

As linhas com erros ficam destacadas, com o número da linha e a mensagem de erro correspondente. Você pode copiar o relatório de validação para compartilhar com sua equipe ou usá-lo para corrigir os problemas.

Como verificar arquivos de fine-tuning da OpenAI

O upload de um arquivo de fine-tuning falha se alguma linha não seguir o formato de chat da OpenAI. Selecione o formato de fine-tuning da OpenAI no validador acima para encontrar todas as linhas com problemas antes de fazer o upload. Em cada linha, ele verifica:

  • a presença de um array "messages" que não esteja vazio
  • um papel em cada mensagem: system, user, assistant ou tool
  • conteúdo em uma string ou em uma lista de partes de conteúdo (uma mensagem de assistant que apenas chama uma ferramenta pode omitir o conteúdo)
  • pelo menos uma mensagem de assistant, com a qual o modelo aprende
  • um "weight" de 0 ou 1, usado apenas em mensagens de assistant
  • linhas no formato antigo prompt/completion ou no formato de preferência (DPO), que exigem uma configuração diferente

Ele também conta os exemplos e as mensagens, avisa quando um arquivo tem menos que os 10 exemplos exigidos pela OpenAI e fornece uma estimativa aproximada de tokens para você avaliar o tamanho do treinamento. Para saber mais sobre o formato, consulte o guia do formato JSONL da OpenAI.

Erros comuns e soluções

Vírgulas finais em objetos JSON

Uma vírgula após o último par chave-valor de um objeto JSON (por exemplo, {"name":"Alice",}) torna o JSON inválido. Remova a vírgula após a última propriedade de cada linha para corrigir esse erro comum de sintaxe.

Chaves de propriedades sem aspas

Em JSON, todas as chaves de propriedades devem estar entre aspas duplas. Chaves como {name:"Alice"} não passam na validação. Confira se todas as chaves estão entre aspas duplas: {"name":"Alice"}.

Sequências de escape inválidas em strings

JSON aceita apenas sequências de escape específicas (\n, \t, \", \\, etc.). Sequências inválidas, como \x ou \', causam erros de parsing. Use as sequências de escape corretas de JSON ou codifique os caracteres especiais em Unicode (\uXXXX).

Validação em CI e na linha de comando

Use estes comandos para verificar se cada linha contém exatamente um valor JSON antes de executar um pipeline. Eles leem uma linha por vez, então o uso de memória depende do maior registro, e não do arquivo inteiro. Linhas vazias são rejeitadas; a quebra de linha final é opcional.

# jq: parse each line and stop on the first error; empty needs no -e
jq -R 'try (
  if startswith("\uFEFF") then error("UTF-8 BOM is not allowed")
  else fromjson end | empty
) catch halt_error(1)' data.jsonl && echo OK


# Python: reject non-standard constants and report the first broken line
python3 - <<'PYTHON'
import json
import sys


def reject_constant(value):
    raise ValueError(f"Invalid JSON constant: {value}")


with open("data.jsonl", "r", encoding="utf-8") as source:
    for line_number, line in enumerate(source, 1):
        try:
            json.loads(line, parse_constant=reject_constant)
        except ValueError as error:
            sys.exit(f"Line {line_number}: {error}")
print("OK")
PYTHON

Essas verificações não validam campos obrigatórios, tipos de campos nem regras de dados de treinamento da OpenAI; use a validação de schema para isso. O jq aceita alguns literais numéricos fora do padrão, incluindo NaN e Infinity. Use o exemplo em Python quando for necessário rejeitá-los.

O que é a validação de JSONL?

A validação de JSONL verifica se cada linha de um arquivo JSONL contém JSON com sintaxe correta. Essa verificação é essencial antes de usar arquivos JSONL no treinamento de modelos de machine learning, em operações em lote de APIs ou no processamento em pipelines de dados.

Entre os problemas comuns detectados pela validação estão vírgulas ausentes ou em excesso, chaves sem aspas, vírgulas após o último elemento, colchetes sem o par correspondente, sequências de escape inválidas e problemas de codificação, como caracteres BOM.

Casos de uso comuns

Garantia da qualidade dos dados
Valide os arquivos JSONL exportados antes de importá-los para bancos de dados ou plataformas de análise para evitar a corrupção dos dados.
Validação de datasets de ML
Confira se os datasets de fine-tuning da OpenAI e os dados de treinamento do Hugging Face estão no formato correto antes de fazer o upload.
Depuração de pipelines de dados
Identifique linhas malformadas em arquivos de log JSONL e em saídas de dados em streaming.
Verificação antes do upload
Valide arquivos JSONL antes de enviá-los a APIs que exigem conformidade estrita com o formato.
Validação em pipelines de CI/CD
Inclua a validação de JSONL como uma etapa dos pipelines de CI/CD para detectar arquivos de dados malformados antes que cheguem aos ambientes de produção.
Verificação da consistência do schema
Verifique se o parser consegue interpretar todas as linhas de um arquivo JSONL e confira visualmente se os registros seguem uma estrutura de schema consistente.

Perguntas frequentes

O que a validação de JSONL verifica?

A validação de JSONL verifica se cada linha não vazia do arquivo contém JSON com sintaxe válida. Ela confere se os colchetes têm seus pares correspondentes, se as strings estão entre aspas corretamente, se as sequências de escape são válidas e se a estrutura geral do JSON está correta.

Meus dados estão seguros durante a validação?

Sim. Toda a validação é feita localmente no seu navegador. Nenhum dado é enviado a servidores. Seu conteúdo JSONL nunca sai do seu dispositivo.

Posso validar arquivos JSONL grandes?

Sim. O validador consegue lidar com arquivos grandes porque processa cada linha de forma independente. Para arquivos muito grandes (100MB+), a validação pode levar alguns segundos.

O que devo fazer se a validação falhar?

Confira os detalhes dos erros de cada linha inválida. As correções mais comuns são adicionar aspas ausentes, remover vírgulas após o último elemento e garantir que os colchetes tenham seus pares correspondentes. Você também pode usar nosso Formatador JSONL para ajudar a identificar problemas de formatação.

O validador verifica se o esquema é consistente entre as linhas?

O validador verifica apenas a sintaxe JSON, sem conferir a consistência do schema. Cada linha é validada de forma independente para garantir que contenha JSON válido. Para validar o schema, você precisa de um validador JSON Schema além da verificação de sintaxe.

Posso validar arquivos NDJSON ou JSON Lines com outras extensões?

Sim. O validador aceita arquivos com as extensões .jsonl, .ndjson, .json e .txt. O conteúdo é tratado da mesma forma, independentemente da extensão: cada linha não vazia é validada como JSON.

Como linhas vazias e linhas que contêm apenas espaços em branco são tratadas na validação?

Linhas vazias e linhas que contêm apenas espaços em branco são ignoradas automaticamente durante a validação. Elas não contam como erros nem aparecem no relatório de validação. Esse comportamento segue a especificação JSONL.

Esta ferramenta pode corrigir JSONL inválido automaticamente?

O validador identifica e informa os erros, mas não os corrige automaticamente. Uma correção automática poderia alterar os dados pretendidos. Use os detalhes dos erros para corrigir cada problema manualmente e valide novamente para confirmar que todas as linhas passam na validação.

Ferramentas e guias relacionados