- Strona główna
- Narzędzia
- Dzielenie plików JSONL
Dzielenie plików JSONL
Podziel duże pliki JSONL (JSON Lines) na mniejsze części według liczby linii lub rozmiaru pliku. Narzędzie działa w 100% w przeglądarce — Twoje dane nigdy jej nie opuszczają.
Dane wejściowe JSONL
Upuść tutaj plik .jsonl lub kliknij, aby wybrać plik
Obsługiwane formaty: .jsonl, .ndjson, .json, .txt
Opcje podziału
Wyniki podziału
Wklej dane JSONL lub upuść plik, ustaw opcje i podziel dane
Jak podzielić plik JSONL
Wczytaj duży plik JSONL lub wklej jego zawartość w polu danych wejściowych. Narzędzie obsługuje pliki .jsonl, .ndjson, .json i .txt o dowolnym rozmiarze.
Wybierz sposób podziału: według liczby linii (np. 1000 linii na plik) lub rozmiaru pliku (np. 10 MB na plik). Narzędzie przetwarza każdą linię osobno, zachowując każdy rekord JSON w całości.
Po podziale pobierz każdą część osobno lub wybierz „Pobierz wszystko jako ZIP”, aby pobrać wszystkie części w jednym archiwum. Każdy plik wynikowy to poprawny plik JSONL, gotowy do użycia.
Podział według liczby linii czy rozmiaru — dlaczego nie wystarczy split -b?
Narzędzie do dzielenia plików JSONL daje jedną kluczową gwarancję: żaden rekord nie zostanie przecięty na pół. Zwykły podział według bajtów tego nie zapewnia. Oto porównanie trzech metod:
| Metoda | Gwarancja | Kiedy stosować |
|---|---|---|
| Według liczby linii (to narzędzie) | Każda część zawiera dokładnie N pełnych rekordów | Gdy system docelowy rozlicza dane lub nakłada limity według liczby rekordów — wsadowe wywołania API, próbki testowe |
| Według docelowego rozmiaru, z podziałem na granicach linii (to narzędzie) | Rozmiar części jest zbliżony do limitu, a podział następuje wyłącznie na końcu linii | Gdy limit wgrywanych danych jest podany w megabajtach — każda część pozostaje poprawnym plikiem JSONL |
| Podział według samych bajtów — split -b 100M | Brak: niemal zawsze przecina rekord w środku bajtu | Nigdy w przypadku JSONL — każda część poza pierwszą zwykle zaczyna się od fragmentu rekordu |
Dobór rozmiaru części dla OpenAI Batch API
Typowe zastosowanie podziału w 2026 roku: OpenAI Batch API ogranicza plik wejściowy partii do 50,000 żądań i 200 MB. Oba limity muszą być spełnione jednocześnie, więc oblicz rozmiar części na podstawie własnych danych:
# Zmierz plik
wc -l batch_input.jsonl # → e.g. 120,000 requests
du -m batch_input.jsonl # → e.g. 310 MB
# Liczba linii na fragment = floor(min(50000, 120000 × 200/310))
# = floor(min(50000, 77419)) = 50000 → ale sprawdź rozmiar:
# 50000 linii ≈ 129 MB ✓ poniżej 200 MB — zatem podziel co 50,000 linii
split -l 50000 batch_input.jsonl part_
# Wynik: part_aa, part_ab, part_ac — 3 prawidłowe pliki wsadoweTe same obliczenia stosuje się wszędzie tam, gdzie obowiązują dwa limity jednocześnie (liczba wierszy ORAZ megabajty). W narzędziu działającym w przeglądarce ustaw liczbę linii na część, a przed pobraniem zobaczysz rozmiar każdej z nich — bez ręcznych obliczeń.
Na czym polega dzielenie plików JSONL?
Dzielenie pliku JSONL (JSON Lines) polega na rozbiciu dużego pliku na kilka mniejszych, z których każdy zawiera część oryginalnych rekordów. Każda linia pliku JSONL jest osobnym obiektem JSON, więc podział jest prosty i nigdy nie rozcina żadnego rekordu.
Taki podział jest niezbędny przy pracy z platformami uczenia maszynowego, które ograniczają rozmiar wgrywanych plików, z API do przetwarzania wsadowego, które dopuszczają określoną liczbę rekordów w jednym żądaniu, czy z potokami przetwarzania danych, które działają wydajniej na mniejszych plikach wejściowych. Pozwala przetwarzać dane w wygodnych porcjach bez zmiany ich zawartości.
Typowe zastosowania
- Limity OpenAI Batch API
- Podziel duże pliki JSONL tak, aby zmieścić się w limitach OpenAI Batch API (100 MB na plik, 50 000 żądań na partię).
- Podział danych treningowych ML
- Podziel duże zbiory danych treningowych na zbiory treningowy, walidacyjny i testowy lub na równe części do treningu rozproszonego.
- Przetwarzanie równoległe
- Podziel pliki JSONL na części, aby przetwarzać je równolegle za pomocą wielu workerów, wątków lub funkcji serverless.
- Limity rozmiaru wgrywanych plików
- Podziel duże eksporty JSONL na mniejsze pliki, które mieszczą się w limitach danej platformy (AWS S3 multipart, GitHub, załączniki e-mail).
- Przyrostowe ładowanie danych
- Podziel duże zbiory danych na mniejsze partie i ładuj je przyrostowo do baz lub hurtowni danych, aby uniknąć przekroczenia limitu czasu.
- Łatwiejsza kontrola wersji
- Podziel ogromne pliki danych JSONL na mniejsze części, aby wygodniej wersjonować je w Gicie, uniknąć ostrzeżeń o dużych plikach i poprawić czytelność diffów.
Typowe problemy i rozwiązania
Po podziale powstają puste pliki
Może się tak zdarzyć, gdy ustawiona liczba linii na plik jest większa niż łączna liczba linii. Zmniejsz liczbę linii na plik lub wybierz podział według rozmiaru.
Podział według rozmiaru daje części różnej wielkości
Przy podziale według rozmiaru ostatnia część może być mniejsza od docelowego rozmiaru, ponieważ linie nigdy nie są rozcinane w środku rekordu. Każdy plik zawiera wyłącznie pełne linie JSON.
Przeglądarka zwalnia przy bardzo dużych plikach
Przy przetwarzaniu plików większych niż 500 MB przeglądarka może zwolnić. W przypadku bardzo dużych zbiorów danych rozważ podział pliku za pomocą narzędzi wiersza poleceń, takich jak 'split' lub 'wc -l', a następnie użyj tego narzędzia do weryfikacji.
Najczęściej zadawane pytania
Czy moje dane są bezpieczne podczas dzielenia pliku?
Tak. Cały podział odbywa się lokalnie w Twojej przeglądarce za pomocą JavaScriptu. Żadne dane nie trafiają na serwer. Zawartość pliku JSONL nigdy nie opuszcza Twojego urządzenia.
Czy obowiązuje limit rozmiaru pliku?
Nie ma sztywnego limitu. Narzędzie radzi sobie z plikami o rozmiarze kilkuset megabajtów. Wydajność zależy od przeglądarki i pamięci urządzenia.
Czy dzielenie pliku zachowuje kolejność rekordów?
Tak. Rekordy są dzielone po kolei. Pierwszy plik zawiera pierwsze N linii, drugi — kolejne N linii i tak dalej. Kolejność rekordów nie zmienia się i żaden rekord nie jest duplikowany.
Czy mogę jednocześnie dzielić plik według liczby linii i rozmiaru pliku?
Obecnie możesz wybrać tylko jeden tryb podziału naraz. Jeśli musisz spełnić oba ograniczenia, najpierw podziel plik według bardziej restrykcyjnego z nich, a następnie sprawdź, czy pliki wynikowe spełniają oba wymagania.
Co się dzieje z pustymi liniami w pliku JSONL?
Puste linie są zachowywane podczas podziału. Jeśli plik JSONL zawiera puste linie między rekordami, pojawią się one w plikach wynikowych w tych samych miejscach. W razie potrzeby usuń je przed podziałem za pomocą naszego walidatora JSONL.
Czy mogę ponownie połączyć podzielone pliki?
Tak. Każda część jest poprawnym plikiem JSONL, więc możesz połączyć je, aby odtworzyć oryginał. W wierszu poleceń użyj 'cat part_*.jsonl > merged.jsonl'. Do łączenia plików możesz też użyć naszych narzędzi JSONL.
Jak nazywane są pliki powstałe po podziale?
Nazwy plików zawierają kolejne numery części (np. part_001.jsonl, part_002.jsonl). Przy pobieraniu w formacie ZIP wszystkie części trafiają do jednego archiwum.
Jak dokładnie działa dzielenie pliku według rozmiaru?
Przy podziale według rozmiaru kolejne linie są dodawane do pliku aż do osiągnięcia docelowego rozmiaru. Wtedy bieżący plik jest zamykany, a następna linia trafia do nowego pliku. Linie nigdy nie są rozdzielane między pliki, więc każda część może być nieco większa lub mniejsza od docelowego rozmiaru.
Powiązane narzędzia i przewodniki
Polacz wiele plikow JSONL w jeden plik z deduplikacja.
Dowiedz się, jaką strukturę powinny mieć pliki JSONL dla OpenAI Batch API. Poznaj format żądań, parsowanie odpowiedzi i cały proces pracy na przykładach kodu.
Sposoby przetwarzania gigabajtów danych JSONL: odczyt strumieniowy, zarządzanie pamięcią, dzielenie plików, kompresja i narzędzia online.
Waliduj pliki JSONL linia po linii. Od razu wykrywaj błędy składni, problemy z kodowaniem i niezgodności z formatem.
Otwieraj pliki .jsonl i .ndjson w postaci tabeli, którą można szybko przeglądać i przeszukiwać — bezpośrednio w edytorze. Rozszerzenie powstało z myślą o plikach zbyt dużych do zwykłego przewijania oraz logach, do których wciąż dopisywane są nowe wpisy.