Scalanie JSONL
Polacz wiele plikow JSONL (JSON Lines) w jeden plik. Zmieniaj kolejnosc, deduplikuj i waliduj linie. 100% po stronie klienta, Twoje dane nigdy nie opuszczaja przegladarki.
Pliki wejsciowe
Upusc pliki .jsonl tutaj lub kliknij, aby wybrac wiele plikow
Obsluguje .jsonl, .ndjson, .json, .txt
Opcje scalania
Pliki wejsciowe
Upusc pliki .jsonl tutaj lub kliknij, aby wybrac wiele plikow
Obsluguje .jsonl, .ndjson, .json, .txt
Opcje scalania
Scalone wyjscie
Upusc lub wybierz pliki JSONL do scalenia
Jak scalac pliki JSONL
Wybierz lub przeciagnij i upusc wiele plikow JSONL do obszaru przesylania. Kazdy plik jest odczytywany w calosci w Twojej przegladarce — zadne dane nie sa wysylane na zaden serwer. Pliki moga byc w formacie .jsonl, .ndjson, .json lub .txt.
Po przeslaniu mozesz zmieniac kolejnosc plikow za pomoca strzalek gora/dol, aby kontrolowac kolejnosc scalania. Wlacz deduplikacje, aby usunac zduplikowane linie na podstawie pelnej zawartosci, lub wlacz walidacje JSON, aby pomijac linie, ktore nie sa prawidlowym JSON.
Scalone wyjscie pojawia sie w panelu podgladu pokazujacym pierwsze 100 linii. Pobierz pelny scalony plik jako .jsonl lub skopiuj go do schowka. Statystyki pokazuja calkowita liczbe linii, rozmiar pliku oraz liczbe usunietych duplikatow lub nieprawidlowych linii.
Czym jest scalanie JSONL?
Scalanie JSONL to proces laczenia wielu plikow JSONL (JSON Lines) w jeden plik. Kazdy plik wejsciowy zawiera jeden obiekt JSON na linie, a narzedzie do scalania laczy wszystkie linie ze wszystkich plikow w jeden plik wyjsciowy, zachowujac okreslona przez Ciebie kolejnosc.
Jest to niezbedne podczas pracy ze zbiorami danych podzielonymi na wiele plikow — takimi jak fragmenty danych treningowych, codzienne eksporty logow lub podzielone odpowiedzi API. Scalanie konsoliduje je w jeden plik do latwiejszego przetwarzania, analizy lub przesylania na platformy oczekujace jednego wejscia JSONL.
Typowe zastosowania
Konsolidacja zbiorow danych
Polacz wiele fragmentow danych treningowych JSONL w jeden plik do przeslania do fine-tuningu OpenAI, Hugging Face lub innych platform ML.
Montaz potoku danych
Scal pliki wyjsciowe z rownolelych potokow przetwarzania danych w jeden plik JSONL do dalszego wykorzystania.
Przygotowanie danych treningowych ML
Skonsoliduj pary prompt-odpowiedz z wielu zrodel w jeden plik JSONL gotowy do fine-tuningu modelu.
Agregacja plikow logow
Polacz dzienne lub godzinowe eksporty logow JSONL w jeden plik do kompleksowej analizy i wyszukiwania logow.
Wspolpraca zespolowa
Scal pliki danych JSONL wniesione przez roznych czlonkow zespolu w ujednolicony zbior danych do wspolnej analizy.
Scalanie danych analitycznych
Polacz dane zdarzen JSONL z wielu uslug lub okresow czasowych do ujednoliconej analityki i raportowania.
Czeste bledy i rozwiazania
Zduplikowane rekordy miedzy plikami
Podczas scalania nakladajacych sie eksportow JSONL (np. dziennych logow z nakladajacymi sie znacznikami czasu) moga wystapic duplikaty. Wlacz opcje 'Usun duplikaty', aby automatycznie deduplikowac na podstawie dokladnej zawartosci linii. W przypadku deduplikacji semantycznej (te same dane, inne formatowanie) najpierw sformatuj wszystkie pliki spojnie za pomoca Formatowania JSONL.
Mieszane kodowanie miedzy plikami
Pliki z roznych zrodel moga uzywac roznych kodowan znakow (UTF-8, UTF-8 z BOM, Windows-1252). Moze to spowodowac blad parsowania pierwszej linii niektorych plikow. Upewnij sie, ze wszystkie pliki sa zapisane jako UTF-8 bez BOM przed scaleniem.
Niespojne schematy miedzy plikami
Pliki JSONL z roznych zrodel moga miec rozne struktury kluczy. Chociaz narzedzie do scalania laczy pliki niezaleznie od roznic w schemacie, narzedzia downstream moga oczekiwac spojnych schematow. Zwaliduj scalone wyjscie za pomoca Walidatora JSONL, aby upewnic sie, ze kazda linia jest prawidlowym JSON.
Najczesciej zadawane pytania
Jak połączyć wiele plików JSONL w jeden?
Tak. Cale scalanie odbywa sie lokalnie w Twojej przegladarce. Zadne dane plikow nie sa przesylane na zaden serwer. Twoje pliki JSONL nigdy nie opuszczaja Twojego urzadzenia.
Jak działa deduplikacja w scalaniu JSONL?
Nie ma twardego limitu liczby plikow. Mozesz dodac tyle plikow JSONL, ile potrzebujesz. Jednak poniewaz wszystkie pliki sa ladowane do pamieci przegladarki, bardzo duze polaczone zbiory danych (kilkaset MB) moga dzialac wolniej w zaleznosci od urzadzenia.
Czy to narzędzie do scalania JSONL przesyła moje pliki?
Deduplikacja porownuje pelna przycinta zawartosc kazdej linii. Jesli dwie linie sa identyczne (te same znaki, ta sama kolejnosc), drugie wystapienie jest usuwane. Jest to deduplikacja dokladnego dopasowania — linie z tymi samymi danymi, ale inna kolejnoscia kluczy lub bialymi znakami sa traktowane jako rozne.
Czy mogę scalać pliki NDJSON za pomocą tego narzędzia?
Tak. Po przeslaniu uzyj przyciskow strzalek gora i dol obok kazdego pliku, aby zmienic ich kolejnosc. Scalone wyjscie odpowiada kolejnosci plikow od gory do dolu.
Ile plików mogę scalić jednocześnie?
Puste linie i linie zawierajace tylko biale znaki sa automatycznie odfiltrowywane podczas odczytu pliku. Nie pojawiaja sie w scalonym wyjsciu. Jest to zgodne ze specyfikacja JSONL, w ktorej puste linie sa ignorowane.
Jak podzielić scalony plik z powrotem?
Tak. Narzedzie do scalania laczy pliki niezaleznie od roznic w schemacie. Kazda linia jest zachowywana dokladnie tak, jak jest. Jesli potrzebujesz spojnosci schematu, zwaliduj lub przeksztalc pliki pojedynczo przed scaleniem.
Czy scalanie zachowuje kolejność linii?
Tak. Linie wewnatrz kazdego pliku zachowuja swoja oryginalna kolejnosc. Pliki sa lączone w kolejnosci pokazanej na liscie plikow. Mozesz dostosowac kolejnosc plikow przed scaleniem.
Czy mogę scalać pliki z różnymi schematami JSON?
To narzedzie zapewnia wizualny interfejs z przesylaniem przeciagnij-i-upusc, zmiana kolejnosci plikow, deduplikacja, walidacja JSON, statystykami liczby linii i natychmiastowym podgladem. W przeciwienstwie do recznego laczenia poleceniami cat lub copy, automatycznie obsluguje przypadki brzegowe, takie jak koncowe znaki nowej linii i puste linie.