Scalanie JSONL

Połącz wiele plików JSONL (JSON Lines) w jeden. Zmień ich kolejność, usuń duplikaty i sprawdź poprawność linii. Przetwarzanie odbywa się w 100% po stronie klienta — Twoje dane nigdy nie opuszczają przeglądarki.

Pliki wejściowe

Upuść tutaj pliki .jsonl lub kliknij, aby wybrać kilka plików

Obsługiwane formaty: .jsonl, .ndjson, .json, .txt

Opcje scalania

Wynik scalania

Upuść lub wybierz pliki JSONL do scalenia

Dlaczego cat file1.jsonl file2.jsonl może uszkodzić dane

Łączenie plików jeden za drugim wydaje się oczywistym sposobem scalania JSONL. Działa, dopóki w którymś pliku nie zabraknie końcowego znaku nowej linii. Wtedy ostatni rekord jednego pliku i pierwszy rekord następnego sklejają się w jedną niepoprawną linię:

# file1.jsonl kończy się BEZ znaku nowej linii:
{"id": 1}
{"id": 2}⏎missing


# file2.jsonl:
{"id": 3}


# Wynik polecenia cat file1.jsonl file2.jsonl:
{"id": 1}
{"id": 2}{"id": 3}   ← one broken line: parse error, two records lost

Narzędzie sprawdza ostatni bajt każdego pliku wejściowego i przed połączeniem dodaje brakujący znak nowej linii. Dzięki temu wynik scalania jest zawsze poprawny, niezależnie od sposobu zapisania plików wejściowych. Jeśli musisz użyć cat w potoku, bezpieczna forma polecenia to: awk 1 file1.jsonl file2.jsonl (awk dodaje znak nowej linii na końcu każdej linii).

Jak scalić pliki JSONL

Wybierz kilka plików JSONL lub przeciągnij je i upuść w wyznaczonym obszarze. Każdy plik jest odczytywany w całości w Twojej przeglądarce — żadne dane nie trafiają na serwer. Obsługiwane formaty to .jsonl, .ndjson, .json i .txt.

Po wczytaniu plików możesz ustawić kolejność ich scalania za pomocą strzałek w górę i w dół. Włącz deduplikację, aby usuwać powtarzające się linie na podstawie ich pełnej zawartości, lub walidację JSON, aby pomijać linie z niepoprawnym JSON-em.

W panelu podglądu zobaczysz pierwsze 100 linii wyniku. Pobierz cały scalony plik w formacie .jsonl lub skopiuj go do schowka. Statystyki pokazują łączną liczbę linii, rozmiar pliku oraz liczbę usuniętych duplikatów i niepoprawnych linii.

Dokładne zasady scalania

Kolejność
Pliki są łączone w kolejności dodawania, a rekordy w każdym z nich zachowują swoją kolejność. Scalanie polega wyłącznie na dopisywaniu danych — rekordy nigdy nie są przestawiane, przepisywane ani ponownie formatowane.
Poprawianie łączeń między plikami
Jeśli w którymś pliku wejściowym brakuje końcowego znaku nowej linii, jest on automatycznie dodawany (zobacz przykład powyżej). Puste linie między rekordami są usuwane, ponieważ niektóre narzędzia odczytujące dane je odrzucają.
Deduplikacja identycznych linii
Opcjonalna. Dwa rekordy są uznawane za duplikaty tylko wtedy, gdy ich linie w surowej postaci są identyczne bajt w bajt — {"a":1,"b":2} i {"b":2,"a":1} NIE zostaną zdeduplikowane, ponieważ kolejność kluczy sprawia, że linie się różnią, mimo że wartości JSON są równe. Jeśli chcesz usuwać duplikaty na podstawie wartości, najpierw znormalizuj dane, korzystając z opcji sortowania kluczy w narzędziu do formatowania.
Konwersja w obie strony za pomocą narzędzia do dzielenia
Scalanie jest dokładną odwrotnością dzielenia: podziel plik na N części, a następnie scal je w tej samej kolejności, aby uzyskać wynik identyczny bajt w bajt z oryginałem (przy wyłączonej deduplikacji). Dzięki tej właściwości schemat podział → przetwarzanie równoległe → scalanie jest bezpiecznym sposobem budowania potoku przetwarzania.

Na czym polega scalanie JSONL?

Scalanie JSONL polega na łączeniu wielu plików JSONL (JSON Lines) w jeden. Każdy plik wejściowy zawiera po jednym obiekcie JSON w każdej linii. Narzędzie łączy wszystkie linie ze wszystkich plików w jeden plik wynikowy, zachowując ustaloną przez Ciebie kolejność.

Scalanie jest niezbędne przy pracy ze zbiorami danych rozdzielonymi na wiele plików, takimi jak fragmenty danych treningowych, dzienne eksporty logów czy odpowiedzi API podzielone na części. Połączenie ich w jeden plik ułatwia przetwarzanie, analizę i przesyłanie na platformy, które przyjmują dane w postaci jednego pliku JSONL.

Częste błędy i ich rozwiązania

Powtarzające się rekordy w różnych plikach

Przy scalaniu eksportów JSONL obejmujących częściowo te same dane (np. dziennych logów z nakładającymi się znacznikami czasu) mogą pojawić się duplikaty. Włącz opcję „Usuń duplikaty”, aby automatycznie usuwać linie o identycznej zawartości. Jeśli potrzebujesz deduplikacji semantycznej (te same dane, inne formatowanie), najpierw sformatuj wszystkie pliki w jednolity sposób za pomocą narzędzia JSONL Formatter.

Różne kodowania znaków w plikach

Pliki z różnych źródeł mogą mieć różne kodowania znaków (UTF-8, UTF-8 z BOM, Windows-1252). Może to powodować błąd parsowania JSON w pierwszej linii niektórych plików. Przed scaleniem upewnij się, że wszystkie pliki są zapisane w UTF-8 bez BOM.

Niespójne schematy danych w plikach

Pliki JSONL z różnych źródeł mogą mieć różne struktury kluczy. Narzędzie scala pliki niezależnie od różnic w schematach, ale narzędzia używane na kolejnych etapach mogą wymagać spójnego schematu. Sprawdź wynik za pomocą narzędzia JSONL Validator, aby upewnić się, że każda linia zawiera poprawny JSON.

Typowe zastosowania

Łączenie zbiorów danych
Połącz fragmenty danych treningowych w formacie JSONL w jeden plik, który możesz przesłać do OpenAI na potrzeby fine-tuningu, do Hugging Face lub na inne platformy ML.
Łączenie wyników potoków przetwarzania danych
Scal pliki wynikowe z równoległych potoków przetwarzania danych w jeden plik JSONL do wykorzystania na kolejnych etapach.
Przygotowanie danych treningowych ML
Zbierz pary prompt–odpowiedź z wielu źródeł w jednym pliku JSONL gotowym do fine-tuningu modelu.
Agregacja plików z logami
Połącz dzienne lub godzinowe eksporty logów JSONL w jeden plik, aby móc je wspólnie analizować i przeszukiwać.
Współpraca w zespole
Scal pliki JSONL przygotowane przez różnych członków zespołu w jeden zbiór danych do wspólnej analizy.
Scalanie danych analitycznych
Połącz dane o zdarzeniach w formacie JSONL z wielu usług lub okresów, aby wspólnie je analizować i uwzględniać w raportach.

Najczęściej zadawane pytania

Czy moje dane są bezpieczne podczas łączenia plików?

Tak. Całe scalanie odbywa się lokalnie w Twojej przeglądarce. Zawartość plików nie jest przesyłana na żaden serwer. Twoje pliki JSONL nigdy nie opuszczają urządzenia.

Czy obowiązuje limit liczby plików, które mogę połączyć?

Nie ma sztywnego limitu liczby plików. Możesz dodać tyle plików JSONL, ile potrzebujesz. Wszystkie pliki są jednak wczytywane do pamięci przeglądarki, więc przetwarzanie bardzo dużych zbiorów danych (łącznie kilkaset MB) może działać wolniej, zależnie od Twojego urządzenia.

Jak działa deduplikacja?

Deduplikacja porównuje pełną zawartość każdej linii po usunięciu białych znaków z jej początku i końca. Jeśli dwie linie są identyczne (te same znaki w tej samej kolejności), drugie wystąpienie jest usuwane. Wymagana jest dokładna zgodność — linie zawierające te same dane, ale różniące się kolejnością kluczy lub białymi znakami, są traktowane jako różne.

Czy mogę ustawić kolejność łączonych plików?

Tak. Po wczytaniu plików użyj przycisków ze strzałkami w górę i w dół obok każdego pliku, aby zmienić ich kolejność. Wynik scalania odpowiada kolejności plików na liście, od góry do dołu.

Co się dzieje z pustymi liniami w plikach wejściowych?

Puste linie oraz linie zawierające wyłącznie białe znaki są automatycznie pomijane podczas odczytu plików. Nie trafiają do wyniku scalania. Jest to zgodne ze specyfikacją JSONL, w której puste linie są ignorowane.

Czy mogę połączyć pliki o różnych schematach JSON?

Tak. Narzędzie scala pliki niezależnie od różnic w schematach. Każda linia jest zachowywana bez zmian. Jeśli potrzebujesz spójnego schematu, sprawdź lub przekształć każdy plik osobno przed scaleniem.

Czy scalanie zachowuje oryginalną kolejność linii w każdym pliku?

Tak. Linie w każdym pliku zachowują pierwotną kolejność. Pliki są łączone w kolejności widocznej na liście. Możesz ją zmienić przed scaleniem.

Czym użycie tego narzędzia różni się od ręcznego łączenia plików?

Narzędzie ma interfejs graficzny, który pozwala dodawać pliki metodą przeciągnij i upuść, zmieniać ich kolejność, usuwać duplikaty i sprawdzać poprawność JSON. Udostępnia też statystyki liczby linii i natychmiastowy podgląd wyniku. W odróżnieniu od ręcznego łączenia plików poleceniami cat lub copy automatycznie obsługuje przypadki brzegowe, takie jak końcowe znaki nowej linii i puste linie.

Powiązane narzędzia i przewodniki