UltKit

Konwerter CSV do Parquet

Plik CSV łatwo utworzyć, ale zapytania na nim działają wolno. Prześlij plik CSV i pobierz plik Apache Parquet z typem kolumny dla każdego pola, skompresowany i gotowy do wczytania w narzędziu analitycznym.

Konwerter danych

lub upuść Pliki CSV, TSV, TXT … tutaj ·

Maks. 95 MB na plik· Do 20 plików· Usuwane po 30 min

Plik wynikowy

Pliki są przetwarzane na naszych serwerach i usuwane po 30 min.

Jak korzystać z narzędzia

  1. 1

    Prześlij pliki CSV

    Dodaj jeden plik eksportu lub do 20 plików o tym samym układzie, każdy do 95 MB. Opcja Separator ustawiona na wykrywanie automatyczne obsługuje przecinki, średniki, tabulatory i pionowe kreski.

  2. 2

    Zostaw ustawienia nagłówka i dat

    Opcja Pierwszy wiersz to nagłówek zamienia pierwszy wiersz na nazwy kolumn. Opcja Daty jest ustawiona na ISO, dzięki czemu kolumny z datami są zapisane w jednolitej postaci.

  3. 3

    Konwertuj do Parquet

    Kliknij Konwertuj na Parquet i wczytaj plik .parquet do pandas, DuckDB, Sparka lub swojej hurtowni danych.

Dlaczego zespoły danych konwertują CSV do Parquet

Parquet powstał w 2013 roku dzięki inżynierom z Twittera i Cloudery, w oparciu o układ kolumnowy opisany przez Google w artykule o Dremel z 2010 roku, a w 2015 roku stał się projektem najwyższego poziomu Apache. Idea jest prosta: zamiast zapisywać tabelę wiersz po wierszu jak CSV, przechowuje wszystkie wartości jednej kolumny razem. Zapytanie, które potrzebuje trzech kolumn z czterdziestu, odczytuje tylko te trzy, a podobne wartości leżące obok siebie kompresują się znacznie lepiej.

Dlatego analitycy konwertują eksporty przed wczytaniem, inżynierowie danych proszą dostawców o Parquet zamiast CSV, a usługi takie jak Amazon Athena i BigQuery, które mogą naliczać opłaty za ilość skanowanych danych, stają się tańsze w użyciu. CSV nie wie też, czy 0042 to liczba, czy kod; Parquet zapisuje typ każdej kolumny, więc kolejne narzędzie nie musi zgadywać.

Parquet, CSV czy XLSX dla dużych tabel

ParquetCSVXLSX
Typy kolumn zapisane w plikuyesnoDla każdej komórki
Odczytuje tylko kolumny potrzebne zapytaniuyesnono
Skompresowanyyesnoyes
Czytelny w edytorze tekstunoyesno
Otwiera się w Excelu po dwukrotnym kliknięciunoyesyes
Liczba wierszy w plikuBez stałego limituBez stałego limitu1 048 576 na arkusz

Co się zmienia, gdy CSV staje się plikiem Parquet

Co zyskujesz

  • Szybsze zapytania, które odczytują tylko potrzebne kolumny
  • Mniejsze pliki do przechowywania i przesyłania
  • Schemat, który kolejne narzędzie odczytuje zamiast zgadywać
  • Daty zapisane jednolicie w formacie ISO

O czym pamiętać

  • Nie da się edytować w arkuszu kalkulacyjnym ani edytorze tekstu
  • Literówka w kolumnie liczbowej może zamienić całą kolumnę w tekst
  • Zachowaj plik CSV, jeśli ktoś nadal musi go otwierać

Formaty CSV i Parquet w faktach

CSV

Wartości rozdzielane przecinkami

CSV to tekstowy format tabel, w którym każdy wiersz to osobna linia, a kolumny oddzielają przecinki. Jest używany od początków informatyki i opisany w RFC 4180, choć wiele wariantów stosuje średniki lub tabulatory oraz różne kodowania tekstu. Prawie każdy arkusz kalkulacyjny, baza danych i narzędzie analityczne potrafi go importować i eksportować, dlatego to domyślny format przenoszenia danych między systemami. CSV przechowuje tylko wartości, bez formuł, formatowania, wielu arkuszy ani typów danych.

Kompresja
–
Przezroczystość
–
Animacja
–
Rok powstania
–
Konwerter CSV

PARQUET

Apache Parquet

Parquet to otwartoźródłowy kolumnowy format przechowywania danych, stworzony przez Twittera i Cloudera w 2013 roku i rozwijany przez Apache Software Foundation. Zapisuje dane kolumnami z silną kompresją i typowanymi schematami, dzięki czemu narzędzia analityczne mogą czytać tylko potrzebne kolumny. Jest standardem w data lake i narzędziach takich jak Spark, pandas, DuckDB, BigQuery i Snowflake. Pliki Parquet są binarne i nie da się ich otworzyć w edytorze tekstu ani zwykłym arkuszu kalkulacyjnym.

Kompresja
Bezstratna
Przezroczystość
–
Animacja
–
Rok powstania
2013 · Apache Software Foundation (from Twitter and Cloudera)
Konwerter PARQUET

CSV zamienia się w Parquet, gdy plik przestaje być czymś, co ludzie otwierają, a staje się czymś, co skanują zapytania: codzienny eksport trafiający do data lake, zbiór danych udostępniany analitykom albo logi filtrowane po kilku kolumnach naraz.

Oczyść plik CSV przed konwersją, a nie po niej: popraw nazwy nagłówków, usuń wiersze podsumowań na dole i upewnij się, że każda kolumna zawiera jeden rodzaj wartości. Jeśli źródłem jest kopia bazy danych, a nie CSV, zacznij od SQL na CSV. Wszystkie pozostałe formaty docelowe, od JSON po SQL, znajdziesz na stronie konwertera danych.

Pytania o konwersję CSV do Parquet

O ile mniejszy będzie plik Parquet od mojego pliku CSV?

To zależy od danych. Kolumny z wieloma powtarzającymi się wartościami, takimi jak kody krajów, statusy czy daty, kompresują się bardzo dobrze, a kolumny z unikalnymi identyfikatorami lub dowolnym tekstem zmniejszają się mniej. Plik Parquet zwykle stanowi ułamek rozmiaru pliku CSV, ale nie da się obiecać stałego współczynnika.

Jakie narzędzia odczytają przekonwertowany plik .parquet?

pandas z funkcją read_parquet, Polars, DuckDB z prostym zapytaniem SELECT na nazwie pliku, Apache Spark oraz hurtownie w chmurze, takie jak BigQuery, Snowflake, Amazon Athena i Redshift Spectrum. Większość z nich potrafi też odpytywać folder plików Parquet o tych samych kolumnach jak jedną tabelę.

Jak ustalane są typy kolumn?

Na podstawie wartości w każdej kolumnie: liczby całkowite, dziesiętne, daty i wartości prawda/fałsz dostają odpowiednie typy, a kolumna o mieszanej zawartości pozostaje tekstem. Po konwersji sprawdź kody z zerami na początku, np. kody pocztowe lub ZIP, takie jak 02134, i zachowaj je jako tekst, jeśli zero ma zostać.

Czy mogę przekonwertować kilka plików CSV o tym samym układzie?

Tak, do 20 w jednej partii, a każdy stanie się osobnym plikiem .parquet. Umieść je w jednym folderze, a DuckDB lub Spark odczytają je razem za pomocą wzorca, np. sales_*.parquet.

Jak zajrzeć do pliku Parquet bez pisania kodu?

Excel i Arkusze Google nie otworzą pliku .parquet po dwukrotnym kliknięciu. Zamień go z powrotem na wiersze za pomocą Parquet na CSV lub użyj wiersza poleceń DuckDB, jeśli potrafisz napisać jedno zapytanie SQL.