Dzielenie plików JSONL

Podziel duże pliki JSONL (JSON Lines) na mniejsze części według liczby linii lub rozmiaru pliku. Narzędzie działa w 100% w przeglądarce — Twoje dane nigdy jej nie opuszczają.

Dane wejściowe JSONL

Upuść tutaj plik .jsonl lub kliknij, aby wybrać plik

Obsługiwane formaty: .jsonl, .ndjson, .json, .txt

Opcje podziału

Wyniki podziału

Wklej dane JSONL lub upuść plik, ustaw opcje i podziel dane

Jak podzielić plik JSONL

Wczytaj duży plik JSONL lub wklej jego zawartość w polu danych wejściowych. Narzędzie obsługuje pliki .jsonl, .ndjson, .json i .txt o dowolnym rozmiarze.

Wybierz sposób podziału: według liczby linii (np. 1000 linii na plik) lub rozmiaru pliku (np. 10 MB na plik). Narzędzie przetwarza każdą linię osobno, zachowując każdy rekord JSON w całości.

Po podziale pobierz każdą część osobno lub wybierz „Pobierz wszystko jako ZIP”, aby pobrać wszystkie części w jednym archiwum. Każdy plik wynikowy to poprawny plik JSONL, gotowy do użycia.

Podział według liczby linii czy rozmiaru — dlaczego nie wystarczy split -b?

Narzędzie do dzielenia plików JSONL daje jedną kluczową gwarancję: żaden rekord nie zostanie przecięty na pół. Zwykły podział według bajtów tego nie zapewnia. Oto porównanie trzech metod:

MetodaGwarancjaKiedy stosować
Według liczby linii (to narzędzie)Każda część zawiera dokładnie N pełnych rekordówGdy system docelowy rozlicza dane lub nakłada limity według liczby rekordów — wsadowe wywołania API, próbki testowe
Według docelowego rozmiaru, z podziałem na granicach linii (to narzędzie)Rozmiar części jest zbliżony do limitu, a podział następuje wyłącznie na końcu liniiGdy limit wgrywanych danych jest podany w megabajtach — każda część pozostaje poprawnym plikiem JSONL
Podział według samych bajtów — split -b 100MBrak: niemal zawsze przecina rekord w środku bajtuNigdy w przypadku JSONL — każda część poza pierwszą zwykle zaczyna się od fragmentu rekordu

Dobór rozmiaru części dla OpenAI Batch API

Typowe zastosowanie podziału w 2026 roku: OpenAI Batch API ogranicza plik wejściowy partii do 50,000 żądań i 200 MB. Oba limity muszą być spełnione jednocześnie, więc oblicz rozmiar części na podstawie własnych danych:

# Zmierz plik
wc -l batch_input.jsonl        # → e.g. 120,000 requests
du -m batch_input.jsonl        # → e.g. 310 MB


# Liczba linii na fragment = floor(min(50000, 120000 × 200/310))
#                          = floor(min(50000, 77419)) = 50000 → ale sprawdź rozmiar:
# 50000 linii ≈ 129 MB ✓ poniżej 200 MB — zatem podziel co 50,000 linii
split -l 50000 batch_input.jsonl part_


# Wynik: part_aa, part_ab, part_ac — 3 prawidłowe pliki wsadowe

Te same obliczenia stosuje się wszędzie tam, gdzie obowiązują dwa limity jednocześnie (liczba wierszy ORAZ megabajty). W narzędziu działającym w przeglądarce ustaw liczbę linii na część, a przed pobraniem zobaczysz rozmiar każdej z nich — bez ręcznych obliczeń.

Na czym polega dzielenie plików JSONL?

Dzielenie pliku JSONL (JSON Lines) polega na rozbiciu dużego pliku na kilka mniejszych, z których każdy zawiera część oryginalnych rekordów. Każda linia pliku JSONL jest osobnym obiektem JSON, więc podział jest prosty i nigdy nie rozcina żadnego rekordu.

Taki podział jest niezbędny przy pracy z platformami uczenia maszynowego, które ograniczają rozmiar wgrywanych plików, z API do przetwarzania wsadowego, które dopuszczają określoną liczbę rekordów w jednym żądaniu, czy z potokami przetwarzania danych, które działają wydajniej na mniejszych plikach wejściowych. Pozwala przetwarzać dane w wygodnych porcjach bez zmiany ich zawartości.

Typowe zastosowania

Limity OpenAI Batch API
Podziel duże pliki JSONL tak, aby zmieścić się w limitach OpenAI Batch API (100 MB na plik, 50 000 żądań na partię).
Podział danych treningowych ML
Podziel duże zbiory danych treningowych na zbiory treningowy, walidacyjny i testowy lub na równe części do treningu rozproszonego.
Przetwarzanie równoległe
Podziel pliki JSONL na części, aby przetwarzać je równolegle za pomocą wielu workerów, wątków lub funkcji serverless.
Limity rozmiaru wgrywanych plików
Podziel duże eksporty JSONL na mniejsze pliki, które mieszczą się w limitach danej platformy (AWS S3 multipart, GitHub, załączniki e-mail).
Przyrostowe ładowanie danych
Podziel duże zbiory danych na mniejsze partie i ładuj je przyrostowo do baz lub hurtowni danych, aby uniknąć przekroczenia limitu czasu.
Łatwiejsza kontrola wersji
Podziel ogromne pliki danych JSONL na mniejsze części, aby wygodniej wersjonować je w Gicie, uniknąć ostrzeżeń o dużych plikach i poprawić czytelność diffów.

Typowe problemy i rozwiązania

Po podziale powstają puste pliki

Może się tak zdarzyć, gdy ustawiona liczba linii na plik jest większa niż łączna liczba linii. Zmniejsz liczbę linii na plik lub wybierz podział według rozmiaru.

Podział według rozmiaru daje części różnej wielkości

Przy podziale według rozmiaru ostatnia część może być mniejsza od docelowego rozmiaru, ponieważ linie nigdy nie są rozcinane w środku rekordu. Każdy plik zawiera wyłącznie pełne linie JSON.

Przeglądarka zwalnia przy bardzo dużych plikach

Przy przetwarzaniu plików większych niż 500 MB przeglądarka może zwolnić. W przypadku bardzo dużych zbiorów danych rozważ podział pliku za pomocą narzędzi wiersza poleceń, takich jak 'split' lub 'wc -l', a następnie użyj tego narzędzia do weryfikacji.

Najczęściej zadawane pytania

Czy moje dane są bezpieczne podczas dzielenia pliku?

Tak. Cały podział odbywa się lokalnie w Twojej przeglądarce za pomocą JavaScriptu. Żadne dane nie trafiają na serwer. Zawartość pliku JSONL nigdy nie opuszcza Twojego urządzenia.

Czy obowiązuje limit rozmiaru pliku?

Nie ma sztywnego limitu. Narzędzie radzi sobie z plikami o rozmiarze kilkuset megabajtów. Wydajność zależy od przeglądarki i pamięci urządzenia.

Czy dzielenie pliku zachowuje kolejność rekordów?

Tak. Rekordy są dzielone po kolei. Pierwszy plik zawiera pierwsze N linii, drugi — kolejne N linii i tak dalej. Kolejność rekordów nie zmienia się i żaden rekord nie jest duplikowany.

Czy mogę jednocześnie dzielić plik według liczby linii i rozmiaru pliku?

Obecnie możesz wybrać tylko jeden tryb podziału naraz. Jeśli musisz spełnić oba ograniczenia, najpierw podziel plik według bardziej restrykcyjnego z nich, a następnie sprawdź, czy pliki wynikowe spełniają oba wymagania.

Co się dzieje z pustymi liniami w pliku JSONL?

Puste linie są zachowywane podczas podziału. Jeśli plik JSONL zawiera puste linie między rekordami, pojawią się one w plikach wynikowych w tych samych miejscach. W razie potrzeby usuń je przed podziałem za pomocą naszego walidatora JSONL.

Czy mogę ponownie połączyć podzielone pliki?

Tak. Każda część jest poprawnym plikiem JSONL, więc możesz połączyć je, aby odtworzyć oryginał. W wierszu poleceń użyj 'cat part_*.jsonl > merged.jsonl'. Do łączenia plików możesz też użyć naszych narzędzi JSONL.

Jak nazywane są pliki powstałe po podziale?

Nazwy plików zawierają kolejne numery części (np. part_001.jsonl, part_002.jsonl). Przy pobieraniu w formacie ZIP wszystkie części trafiają do jednego archiwum.

Jak dokładnie działa dzielenie pliku według rozmiaru?

Przy podziale według rozmiaru kolejne linie są dodawane do pliku aż do osiągnięcia docelowego rozmiaru. Wtedy bieżący plik jest zamykany, a następna linia trafia do nowego pliku. Linie nigdy nie są rozdzielane między pliki, więc każda część może być nieco większa lub mniejsza od docelowego rozmiaru.

Powiązane narzędzia i przewodniki