- Strona główna
- Narzędzia
- Walidator JSONL
Walidator JSONL
Od razu sprawdź poprawność plików JSONL (JSON Lines). Zweryfikuj składnię JSON w każdej linii. Narzędzie działa w 100% po stronie klienta — Twoje dane nigdy nie opuszczają przeglądarki.
Dane wejściowe JSONL
Upuść tutaj plik .jsonl lub kliknij, aby wybrać plik
Obsługiwane rozszerzenia: .jsonl, .ndjson, .json, .txt
Wynik walidacji
Wklej dane JSONL lub przeciągnij je tutaj, aby sprawdzić ich poprawność
Typowe błędy: przyczyny i poprawki
Niemal każdy błąd w pliku JSONL ma jedną z sześciu przyczyn. Poniższa tabela pokazuje, co oznacza dany błąd na poziomie bajtów i jak najszybciej go poprawić. RFC 8259 określa ścisłe wymagania JSON w każdej z tych kwestii, a JSONL dodatkowo wymaga jednego rekordu na linię:
| Przykład błędnej linii | Co jest nie tak | Rozwiązanie |
|---|---|---|
| {"a": 1,} | Przecinek na końcu — dozwolony w JavaScript, niedozwolony w JSON | Usuń przecinek przed } lub ] |
| {'a': 1} | Pojedyncze cudzysłowy — ciągi znaków w JSON wymagają podwójnych cudzysłowów | W kluczach i wartościach tekstowych zastąp ' znakiem " |
| {"note": "line one | Znak nowej linii zapisany bez sekwencji ucieczki wewnątrz ciągu znaków rozbija rekord na kilka linii | Zapisz go jako \n, aby cały rekord mieścił się w jednej linii |
| {"a": 1} | Znacznik BOM UTF-8 przed pierwszym rekordem | Zapisz plik bez BOM albo usuń pierwsze trzy bajty |
| {"a": 1} {"b": 2} | Dwa rekordy w jednej linii — parser widzi zbędne dane na końcu | Umieść każdy rekord w osobnej linii |
| (pusta linia) | Pusta linia formalnie nie jest rekordem — niektóre parsery zgłaszają błąd, a inne ją pomijają | Usuń puste linie lub skonfiguruj narzędzia odczytujące dane tak, aby je pomijały |
Jak sprawdzić poprawność plików JSONL
Walidacja JSONL polega na sprawdzeniu, czy każda linia pliku zawiera poprawny JSON. W każdej linii musi znajdować się kompletna wartość JSON, którą można sparsować — zazwyczaj jest to obiekt JSON.
Nasz walidator odczytuje plik JSONL wyłącznie w przeglądarce. Żadne dane nie trafiają na serwer. Wklej tekst JSONL lub przeciągnij i upuść plik, a wyniki walidacji pojawią się natychmiast.
Linie z błędami są podświetlone, a przy każdej z nich znajdziesz jej numer i konkretny komunikat o błędzie. Możesz skopiować raport walidacji, by udostępnić go zespołowi lub wykorzystać przy poprawianiu błędów.
Sprawdzanie plików do fine-tuningu w OpenAI
Przesyłanie pliku do fine-tuningu nie powiedzie się, jeśli choć jedna linia jest niezgodna z formatem czatu OpenAI. Wybierz powyżej format fine-tuningu OpenAI, aby znaleźć wszystkie linie z błędami przed przesłaniem pliku. Dla każdej linii walidator sprawdza:
- czy tablica "messages" istnieje i nie jest pusta
- czy każda wiadomość ma rolę: system, user, assistant lub tool
- czy treść jest ciągiem znaków lub listą części treści (wiadomość assistant, która tylko wywołuje narzędzie, może ją pomijać)
- czy istnieje co najmniej jedna wiadomość assistant, na której model się uczy
- czy "weight" ma wartość 0 lub 1 i występuje tylko w wiadomościach assistant
- czy występują linie w starszym formacie prompt/completion lub w formacie danych preferencji (DPO), które wymagają innej konfiguracji
Walidator zlicza też przykłady i wiadomości, ostrzega, gdy plik zawiera mniej niż 10 przykładów wymaganych przez OpenAI, oraz podaje przybliżoną liczbę tokenów, aby ułatwić Ci ocenę wielkości treningu. Więcej o samym formacie znajdziesz w przewodniku po formacie JSONL dla OpenAI.
Typowe błędy i sposoby ich rozwiązania
Przecinek na końcu obiektu JSON
Przecinek po ostatniej parze klucz-wartość w obiekcie JSON (np. {"name":"Alice",}) jest błędem składni JSON. Aby go poprawić, usuń przecinek po ostatniej właściwości w każdej linii.
Klucze właściwości bez cudzysłowów
W JSON wszystkie klucze właściwości muszą być ujęte w podwójne cudzysłowy. Zapis taki jak {name:"Alice"} nie przejdzie walidacji. Upewnij się, że każdy klucz jest ujęty w podwójne cudzysłowy: {"name":"Alice"}.
Nieprawidłowe sekwencje ucieczki w ciągach znaków
JSON obsługuje tylko określone sekwencje ucieczki (\n, \t, \", \\ itd.). Nieprawidłowe sekwencje, takie jak \x lub \', powodują błędy parsowania. Używaj sekwencji ucieczki zgodnych z JSON lub zapisuj znaki specjalne za pomocą sekwencji Unicode (\uXXXX).
Walidacja w CI i w wierszu poleceń
Użyj tych poleceń przed uruchomieniem potoku, aby sprawdzić, czy każdy wiersz zawiera dokładnie jedną wartość JSON. Odczytują po jednym wierszu, więc zużycie pamięci zależy od największego rekordu, a nie całego pliku. Puste wiersze są odrzucane; końcowy znak nowego wiersza jest opcjonalny.
# jq: parse each line and stop on the first error; empty needs no -e
jq -R 'try (
if startswith("\uFEFF") then error("UTF-8 BOM is not allowed")
else fromjson end | empty
) catch halt_error(1)' data.jsonl && echo OK
# Python: reject non-standard constants and report the first broken line
python3 - <<'PYTHON'
import json
import sys
def reject_constant(value):
raise ValueError(f"Invalid JSON constant: {value}")
with open("data.jsonl", "r", encoding="utf-8") as source:
for line_number, line in enumerate(source, 1):
try:
json.loads(line, parse_constant=reject_constant)
except ValueError as error:
sys.exit(f"Line {line_number}: {error}")
print("OK")
PYTHONTe kontrole nie sprawdzają wymaganych pól, typów pól ani reguł dotyczących danych treningowych OpenAI; do tego użyj walidacji schematu. jq akceptuje niektóre niestandardowe literały liczbowe, w tym NaN i Infinity. Jeśli muszą być odrzucane, użyj przykładu w Pythonie.
Czym jest walidacja JSONL?
Walidacja JSONL polega na sprawdzeniu, czy każda linia pliku JSONL zawiera JSON o poprawnej składni. To niezbędny krok przed użyciem plików JSONL do trenowania modeli uczenia maszynowego, operacji wsadowych przez API lub przetwarzania w potokach danych.
Walidacja wykrywa typowe problemy: brakujące lub nadmiarowe przecinki, klucze bez cudzysłowów, przecinki na końcu obiektów i tablic, niedopasowane nawiasy, nieprawidłowe sekwencje ucieczki oraz problemy z kodowaniem, takie jak znaki BOM.
Typowe zastosowania
- Kontrola jakości danych
- Sprawdź poprawność eksportów JSONL przed zaimportowaniem ich do baz danych lub platform analitycznych, aby zapobiec uszkodzeniu danych.
- Walidacja zbiorów danych ML
- Przed przesłaniem sprawdź poprawność formatu zbiorów danych do fine-tuningu modeli OpenAI i danych treningowych Hugging Face.
- Debugowanie potoków danych
- Znajdź niepoprawnie sformatowane linie w logach JSONL i danych wyjściowych ze strumieni.
- Weryfikacja przed przesłaniem
- Sprawdź poprawność plików JSONL przed wysłaniem ich do API wymagających ścisłej zgodności z formatem.
- Walidacja w pipeline’ach CI/CD
- Dodaj walidację JSONL jako krok w pipeline’ach CI/CD, aby wykrywać niepoprawnie sformatowane pliki danych, zanim trafią do środowisk produkcyjnych.
- Sprawdzanie spójności schematu
- Sprawdź, czy każdą linię pliku JSONL można poprawnie sparsować, a następnie przejrzyj rekordy, by ocenić, czy ich struktura jest zgodna ze wspólnym schematem.
Najczęściej zadawane pytania
Co sprawdza walidacja JSONL?
Walidator JSONL sprawdza, czy każda niepusta linia pliku zawiera JSON o poprawnej składni. Weryfikuje dopasowanie nawiasów, ujęcie ciągów znaków w odpowiednie cudzysłowy, poprawność sekwencji ucieczki i ogólną strukturę JSON.
Czy moje dane są bezpieczne podczas walidacji?
Tak. Cała walidacja odbywa się lokalnie w Twojej przeglądarce. Żadne dane nie są wysyłane na serwer. Twoje dane JSONL nigdy nie opuszczają Twojego urządzenia.
Czy mogę walidować duże pliki JSONL?
Tak. Walidator obsługuje duże pliki, ponieważ przetwarza każdą linię niezależnie. W przypadku bardzo dużych plików (100 MB+) walidacja może potrwać kilka sekund.
Co zrobić, jeśli walidacja wykryje błędy?
Przejrzyj szczegóły błędów w każdej niepoprawnej linii. Zwykle wystarczy dodać brakujące cudzysłowy, usunąć przecinki na końcu obiektów i tablic lub poprawić dopasowanie nawiasów. Możesz też skorzystać z naszego formatera JSONL, który pomoże Ci znaleźć problemy z formatowaniem.
Czy walidator sprawdza spójność schematu między liniami?
Walidator sprawdza wyłącznie składnię JSON, a nie spójność schematu. Każda linia jest sprawdzana niezależnie pod kątem poprawności JSON. Aby zweryfikować również schemat, oprócz kontroli składni potrzebny jest walidator JSON Schema.
Czy mogę walidować pliki NDJSON lub JSON Lines o różnych rozszerzeniach?
Tak. Walidator obsługuje pliki z rozszerzeniami .jsonl, .ndjson, .json i .txt. Sposób przetwarzania danych nie zależy od rozszerzenia — każda niepusta linia jest sprawdzana jako JSON.
Jak podczas walidacji traktowane są puste linie i linie zawierające wyłącznie białe znaki?
Puste linie i linie zawierające wyłącznie białe znaki są automatycznie pomijane podczas walidacji. Nie są uznawane za błędy i nie pojawiają się w raporcie walidacji. Jest to zgodne ze specyfikacją JSONL.
Czy narzędzie potrafi automatycznie naprawiać błędy w danych JSONL?
Walidator wykrywa i zgłasza błędy, ale nie poprawia ich automatycznie. Automatyczne poprawki mogłyby zmienić dane w sposób niezgodny z zamiarem autora. Korzystając ze szczegółów błędów, popraw każdy z nich ręcznie, a następnie ponownie uruchom walidację, by upewnić się, że wszystkie linie są poprawne.
Powiązane narzędzia i przewodniki
Formatuj pliki JSONL, nadając im czytelny układ z odpowiednimi wcięciami. Ułatw sobie debugowanie i przeglądanie danych.
Pełny przewodnik po przygotowywaniu plików JSONL dla OpenAI. Poznaj format danych do fine-tuningu, żądania Batch API, typowe błędy i wskazówki dotyczące walidacji.
Dowiedz się, jak walidować pliki JSONL przy użyciu JSON Schema. Obejmuje Python, Node.js, narzędzia CLI i automatyzację CI/CD.
Dowiedz się, jaką strukturę powinny mieć pliki JSONL dla OpenAI Batch API. Poznaj format żądań, parsowanie odpowiedzi i cały proces pracy na przykładach kodu.
Podziel duze pliki JSONL na mniejsze, latwiejsze do zarzadzania czesci wedlug liczby wierszy.