Walidator JSONL

Od razu sprawdź poprawność plików JSONL (JSON Lines). Zweryfikuj składnię JSON w każdej linii. Narzędzie działa w 100% po stronie klienta — Twoje dane nigdy nie opuszczają przeglądarki.

Sprawdź zgodność z

Dane wejściowe JSONL

Upuść tutaj plik .jsonl lub kliknij, aby wybrać plik

Obsługiwane rozszerzenia: .jsonl, .ndjson, .json, .txt

Wynik walidacji

Wklej dane JSONL lub przeciągnij je tutaj, aby sprawdzić ich poprawność

Typowe błędy: przyczyny i poprawki

Niemal każdy błąd w pliku JSONL ma jedną z sześciu przyczyn. Poniższa tabela pokazuje, co oznacza dany błąd na poziomie bajtów i jak najszybciej go poprawić. RFC 8259 określa ścisłe wymagania JSON w każdej z tych kwestii, a JSONL dodatkowo wymaga jednego rekordu na linię:

Przykład błędnej liniiCo jest nie takRozwiązanie
{"a": 1,}Przecinek na końcu — dozwolony w JavaScript, niedozwolony w JSONUsuń przecinek przed } lub ]
{'a': 1}Pojedyncze cudzysłowy — ciągi znaków w JSON wymagają podwójnych cudzysłowówW kluczach i wartościach tekstowych zastąp ' znakiem "
{"note": "line oneZnak nowej linii zapisany bez sekwencji ucieczki wewnątrz ciągu znaków rozbija rekord na kilka liniiZapisz go jako \n, aby cały rekord mieścił się w jednej linii
{"a": 1}Znacznik BOM UTF-8 przed pierwszym rekordemZapisz plik bez BOM albo usuń pierwsze trzy bajty
{"a": 1} {"b": 2}Dwa rekordy w jednej linii — parser widzi zbędne dane na końcuUmieść każdy rekord w osobnej linii
(pusta linia)Pusta linia formalnie nie jest rekordem — niektóre parsery zgłaszają błąd, a inne ją pomijająUsuń puste linie lub skonfiguruj narzędzia odczytujące dane tak, aby je pomijały

Jak sprawdzić poprawność plików JSONL

Walidacja JSONL polega na sprawdzeniu, czy każda linia pliku zawiera poprawny JSON. W każdej linii musi znajdować się kompletna wartość JSON, którą można sparsować — zazwyczaj jest to obiekt JSON.

Nasz walidator odczytuje plik JSONL wyłącznie w przeglądarce. Żadne dane nie trafiają na serwer. Wklej tekst JSONL lub przeciągnij i upuść plik, a wyniki walidacji pojawią się natychmiast.

Linie z błędami są podświetlone, a przy każdej z nich znajdziesz jej numer i konkretny komunikat o błędzie. Możesz skopiować raport walidacji, by udostępnić go zespołowi lub wykorzystać przy poprawianiu błędów.

Sprawdzanie plików do fine-tuningu w OpenAI

Przesyłanie pliku do fine-tuningu nie powiedzie się, jeśli choć jedna linia jest niezgodna z formatem czatu OpenAI. Wybierz powyżej format fine-tuningu OpenAI, aby znaleźć wszystkie linie z błędami przed przesłaniem pliku. Dla każdej linii walidator sprawdza:

  • czy tablica "messages" istnieje i nie jest pusta
  • czy każda wiadomość ma rolę: system, user, assistant lub tool
  • czy treść jest ciągiem znaków lub listą części treści (wiadomość assistant, która tylko wywołuje narzędzie, może ją pomijać)
  • czy istnieje co najmniej jedna wiadomość assistant, na której model się uczy
  • czy "weight" ma wartość 0 lub 1 i występuje tylko w wiadomościach assistant
  • czy występują linie w starszym formacie prompt/completion lub w formacie danych preferencji (DPO), które wymagają innej konfiguracji

Walidator zlicza też przykłady i wiadomości, ostrzega, gdy plik zawiera mniej niż 10 przykładów wymaganych przez OpenAI, oraz podaje przybliżoną liczbę tokenów, aby ułatwić Ci ocenę wielkości treningu. Więcej o samym formacie znajdziesz w przewodniku po formacie JSONL dla OpenAI.

Typowe błędy i sposoby ich rozwiązania

Przecinek na końcu obiektu JSON

Przecinek po ostatniej parze klucz-wartość w obiekcie JSON (np. {"name":"Alice",}) jest błędem składni JSON. Aby go poprawić, usuń przecinek po ostatniej właściwości w każdej linii.

Klucze właściwości bez cudzysłowów

W JSON wszystkie klucze właściwości muszą być ujęte w podwójne cudzysłowy. Zapis taki jak {name:"Alice"} nie przejdzie walidacji. Upewnij się, że każdy klucz jest ujęty w podwójne cudzysłowy: {"name":"Alice"}.

Nieprawidłowe sekwencje ucieczki w ciągach znaków

JSON obsługuje tylko określone sekwencje ucieczki (\n, \t, \", \\ itd.). Nieprawidłowe sekwencje, takie jak \x lub \', powodują błędy parsowania. Używaj sekwencji ucieczki zgodnych z JSON lub zapisuj znaki specjalne za pomocą sekwencji Unicode (\uXXXX).

Walidacja w CI i w wierszu poleceń

Użyj tych poleceń przed uruchomieniem potoku, aby sprawdzić, czy każdy wiersz zawiera dokładnie jedną wartość JSON. Odczytują po jednym wierszu, więc zużycie pamięci zależy od największego rekordu, a nie całego pliku. Puste wiersze są odrzucane; końcowy znak nowego wiersza jest opcjonalny.

# jq: parse each line and stop on the first error; empty needs no -e
jq -R 'try (
  if startswith("\uFEFF") then error("UTF-8 BOM is not allowed")
  else fromjson end | empty
) catch halt_error(1)' data.jsonl && echo OK


# Python: reject non-standard constants and report the first broken line
python3 - <<'PYTHON'
import json
import sys


def reject_constant(value):
    raise ValueError(f"Invalid JSON constant: {value}")


with open("data.jsonl", "r", encoding="utf-8") as source:
    for line_number, line in enumerate(source, 1):
        try:
            json.loads(line, parse_constant=reject_constant)
        except ValueError as error:
            sys.exit(f"Line {line_number}: {error}")
print("OK")
PYTHON

Te kontrole nie sprawdzają wymaganych pól, typów pól ani reguł dotyczących danych treningowych OpenAI; do tego użyj walidacji schematu. jq akceptuje niektóre niestandardowe literały liczbowe, w tym NaN i Infinity. Jeśli muszą być odrzucane, użyj przykładu w Pythonie.

Czym jest walidacja JSONL?

Walidacja JSONL polega na sprawdzeniu, czy każda linia pliku JSONL zawiera JSON o poprawnej składni. To niezbędny krok przed użyciem plików JSONL do trenowania modeli uczenia maszynowego, operacji wsadowych przez API lub przetwarzania w potokach danych.

Walidacja wykrywa typowe problemy: brakujące lub nadmiarowe przecinki, klucze bez cudzysłowów, przecinki na końcu obiektów i tablic, niedopasowane nawiasy, nieprawidłowe sekwencje ucieczki oraz problemy z kodowaniem, takie jak znaki BOM.

Typowe zastosowania

Kontrola jakości danych
Sprawdź poprawność eksportów JSONL przed zaimportowaniem ich do baz danych lub platform analitycznych, aby zapobiec uszkodzeniu danych.
Walidacja zbiorów danych ML
Przed przesłaniem sprawdź poprawność formatu zbiorów danych do fine-tuningu modeli OpenAI i danych treningowych Hugging Face.
Debugowanie potoków danych
Znajdź niepoprawnie sformatowane linie w logach JSONL i danych wyjściowych ze strumieni.
Weryfikacja przed przesłaniem
Sprawdź poprawność plików JSONL przed wysłaniem ich do API wymagających ścisłej zgodności z formatem.
Walidacja w pipeline’ach CI/CD
Dodaj walidację JSONL jako krok w pipeline’ach CI/CD, aby wykrywać niepoprawnie sformatowane pliki danych, zanim trafią do środowisk produkcyjnych.
Sprawdzanie spójności schematu
Sprawdź, czy każdą linię pliku JSONL można poprawnie sparsować, a następnie przejrzyj rekordy, by ocenić, czy ich struktura jest zgodna ze wspólnym schematem.

Najczęściej zadawane pytania

Co sprawdza walidacja JSONL?

Walidator JSONL sprawdza, czy każda niepusta linia pliku zawiera JSON o poprawnej składni. Weryfikuje dopasowanie nawiasów, ujęcie ciągów znaków w odpowiednie cudzysłowy, poprawność sekwencji ucieczki i ogólną strukturę JSON.

Czy moje dane są bezpieczne podczas walidacji?

Tak. Cała walidacja odbywa się lokalnie w Twojej przeglądarce. Żadne dane nie są wysyłane na serwer. Twoje dane JSONL nigdy nie opuszczają Twojego urządzenia.

Czy mogę walidować duże pliki JSONL?

Tak. Walidator obsługuje duże pliki, ponieważ przetwarza każdą linię niezależnie. W przypadku bardzo dużych plików (100 MB+) walidacja może potrwać kilka sekund.

Co zrobić, jeśli walidacja wykryje błędy?

Przejrzyj szczegóły błędów w każdej niepoprawnej linii. Zwykle wystarczy dodać brakujące cudzysłowy, usunąć przecinki na końcu obiektów i tablic lub poprawić dopasowanie nawiasów. Możesz też skorzystać z naszego formatera JSONL, który pomoże Ci znaleźć problemy z formatowaniem.

Czy walidator sprawdza spójność schematu między liniami?

Walidator sprawdza wyłącznie składnię JSON, a nie spójność schematu. Każda linia jest sprawdzana niezależnie pod kątem poprawności JSON. Aby zweryfikować również schemat, oprócz kontroli składni potrzebny jest walidator JSON Schema.

Czy mogę walidować pliki NDJSON lub JSON Lines o różnych rozszerzeniach?

Tak. Walidator obsługuje pliki z rozszerzeniami .jsonl, .ndjson, .json i .txt. Sposób przetwarzania danych nie zależy od rozszerzenia — każda niepusta linia jest sprawdzana jako JSON.

Jak podczas walidacji traktowane są puste linie i linie zawierające wyłącznie białe znaki?

Puste linie i linie zawierające wyłącznie białe znaki są automatycznie pomijane podczas walidacji. Nie są uznawane za błędy i nie pojawiają się w raporcie walidacji. Jest to zgodne ze specyfikacją JSONL.

Czy narzędzie potrafi automatycznie naprawiać błędy w danych JSONL?

Walidator wykrywa i zgłasza błędy, ale nie poprawia ich automatycznie. Automatyczne poprawki mogłyby zmienić dane w sposób niezgodny z zamiarem autora. Korzystając ze szczegółów błędów, popraw każdy z nich ręcznie, a następnie ponownie uruchom walidację, by upewnić się, że wszystkie linie są poprawne.

Powiązane narzędzia i przewodniki