Konwerter CSV do Parquet
Plik CSV łatwo utworzyć, ale zapytania na nim działają wolno. Prześlij plik CSV i pobierz plik Apache Parquet z typem kolumny dla każdego pola, skompresowany i gotowy do wczytania w narzędziu analitycznym.
Konwerter danych
lub upuść Pliki CSV, TSV, TXT … tutaj ·
Maks. 95 MB na plik· Do 20 plików· Usuwane po 30 min
Pliki są przetwarzane na naszych serwerach i usuwane po 30 min.
Znak oddzielający kolumny w plikach CSV i tekstowych, przy odczycie i zapisie. Automatycznie wykrywa go we wczytanym pliku, a przy zapisie używa przecinków.
UTF-8 obsługuje wszystkie języki. Wybierz UTF-8 z BOM, jeśli Excel w Windows po otwarciu pliku CSV pokazuje nieprawidłowe polskie znaki lub znaki azjatyckie.
Dla plików Excel, ODS i Numbers: przekonwertuj tylko pierwszy arkusz lub wszystkie (jeden CSV na arkusz w ZIP albo jeden klucz JSON na arkusz).
Nazwa karty arkusza w nowym skoroszycie, do 31 znaków.
Tablica obiektów używa nazw kolumn jako kluczy w każdym wierszu; tablica tablic jest bardziej zwarta i zachowuje nagłówek jako pierwszą tablicę.
Nazwa zewnętrznego elementu obejmującego wszystkie wiersze; każdy wiersz staje się w nim elementem <row>.
Używana w instrukcjach CREATE TABLE i INSERT. Tylko litery, cyfry i podkreślenia.
Cudzysłowy i typy kolumn różnią się nieco między bazami danych; wybierz tę, do której będziesz importować.
Zapisz komórki z datami w jednym formacie. ISO (2026-10-18) jest najbezpieczniejszy dla baz danych i kodu; „zachowaj” zostawia daty tak, jak w źródle.
Jak korzystać z narzędzia
- 1
Prześlij pliki CSV
Dodaj jeden plik eksportu lub do 20 plików o tym samym układzie, każdy do 95 MB. Opcja Separator ustawiona na wykrywanie automatyczne obsługuje przecinki, średniki, tabulatory i pionowe kreski.
- 2
Zostaw ustawienia nagłówka i dat
Opcja Pierwszy wiersz to nagłówek zamienia pierwszy wiersz na nazwy kolumn. Opcja Daty jest ustawiona na ISO, dzięki czemu kolumny z datami są zapisane w jednolitej postaci.
- 3
Konwertuj do Parquet
Kliknij Konwertuj na Parquet i wczytaj plik .parquet do pandas, DuckDB, Sparka lub swojej hurtowni danych.
Dlaczego zespoły danych konwertują CSV do Parquet
Parquet powstał w 2013 roku dzięki inżynierom z Twittera i Cloudery, w oparciu o układ kolumnowy opisany przez Google w artykule o Dremel z 2010 roku, a w 2015 roku stał się projektem najwyższego poziomu Apache. Idea jest prosta: zamiast zapisywać tabelę wiersz po wierszu jak CSV, przechowuje wszystkie wartości jednej kolumny razem. Zapytanie, które potrzebuje trzech kolumn z czterdziestu, odczytuje tylko te trzy, a podobne wartości leżące obok siebie kompresują się znacznie lepiej.
Dlatego analitycy konwertują eksporty przed wczytaniem, inżynierowie danych proszą dostawców o Parquet zamiast CSV, a usługi takie jak Amazon Athena i BigQuery, które mogą naliczać opłaty za ilość skanowanych danych, stają się tańsze w użyciu. CSV nie wie też, czy 0042 to liczba, czy kod; Parquet zapisuje typ każdej kolumny, więc kolejne narzędzie nie musi zgadywać.
Parquet, CSV czy XLSX dla dużych tabel
| Parquet | CSV | XLSX | |
|---|---|---|---|
| Typy kolumn zapisane w pliku | yes | no | Dla każdej komórki |
| Odczytuje tylko kolumny potrzebne zapytaniu | yes | no | no |
| Skompresowany | yes | no | yes |
| Czytelny w edytorze tekstu | no | yes | no |
| Otwiera się w Excelu po dwukrotnym kliknięciu | no | yes | yes |
| Liczba wierszy w pliku | Bez stałego limitu | Bez stałego limitu | 1 048 576 na arkusz |
Co się zmienia, gdy CSV staje się plikiem Parquet
Co zyskujesz
- Szybsze zapytania, które odczytują tylko potrzebne kolumny
- Mniejsze pliki do przechowywania i przesyłania
- Schemat, który kolejne narzędzie odczytuje zamiast zgadywać
- Daty zapisane jednolicie w formacie ISO
O czym pamiętać
- Nie da się edytować w arkuszu kalkulacyjnym ani edytorze tekstu
- Literówka w kolumnie liczbowej może zamienić całą kolumnę w tekst
- Zachowaj plik CSV, jeśli ktoś nadal musi go otwierać
Formaty CSV i Parquet w faktach
CSV
Wartości rozdzielane przecinkami
CSV to tekstowy format tabel, w którym każdy wiersz to osobna linia, a kolumny oddzielają przecinki. Jest używany od początków informatyki i opisany w RFC 4180, choć wiele wariantów stosuje średniki lub tabulatory oraz różne kodowania tekstu. Prawie każdy arkusz kalkulacyjny, baza danych i narzędzie analityczne potrafi go importować i eksportować, dlatego to domyślny format przenoszenia danych między systemami. CSV przechowuje tylko wartości, bez formuł, formatowania, wielu arkuszy ani typów danych.
- Kompresja
- –
- Przezroczystość
- –
- Animacja
- –
- Rok powstania
- –
PARQUET
Apache Parquet
Parquet to otwartoźródłowy kolumnowy format przechowywania danych, stworzony przez Twittera i Cloudera w 2013 roku i rozwijany przez Apache Software Foundation. Zapisuje dane kolumnami z silną kompresją i typowanymi schematami, dzięki czemu narzędzia analityczne mogą czytać tylko potrzebne kolumny. Jest standardem w data lake i narzędziach takich jak Spark, pandas, DuckDB, BigQuery i Snowflake. Pliki Parquet są binarne i nie da się ich otworzyć w edytorze tekstu ani zwykłym arkuszu kalkulacyjnym.
- Kompresja
- Bezstratna
- Przezroczystość
- –
- Animacja
- –
- Rok powstania
- 2013 · Apache Software Foundation (from Twitter and Cloudera)
CSV zamienia się w Parquet, gdy plik przestaje być czymś, co ludzie otwierają, a staje się czymś, co skanują zapytania: codzienny eksport trafiający do data lake, zbiór danych udostępniany analitykom albo logi filtrowane po kilku kolumnach naraz.
Oczyść plik CSV przed konwersją, a nie po niej: popraw nazwy nagłówków, usuń wiersze podsumowań na dole i upewnij się, że każda kolumna zawiera jeden rodzaj wartości. Jeśli źródłem jest kopia bazy danych, a nie CSV, zacznij od SQL na CSV. Wszystkie pozostałe formaty docelowe, od JSON po SQL, znajdziesz na stronie konwertera danych.
Pytania o konwersję CSV do Parquet
O ile mniejszy będzie plik Parquet od mojego pliku CSV?
To zależy od danych. Kolumny z wieloma powtarzającymi się wartościami, takimi jak kody krajów, statusy czy daty, kompresują się bardzo dobrze, a kolumny z unikalnymi identyfikatorami lub dowolnym tekstem zmniejszają się mniej. Plik Parquet zwykle stanowi ułamek rozmiaru pliku CSV, ale nie da się obiecać stałego współczynnika.
Jakie narzędzia odczytają przekonwertowany plik .parquet?
pandas z funkcją read_parquet, Polars, DuckDB z prostym zapytaniem SELECT na nazwie pliku, Apache Spark oraz hurtownie w chmurze, takie jak BigQuery, Snowflake, Amazon Athena i Redshift Spectrum. Większość z nich potrafi też odpytywać folder plików Parquet o tych samych kolumnach jak jedną tabelę.
Jak ustalane są typy kolumn?
Na podstawie wartości w każdej kolumnie: liczby całkowite, dziesiętne, daty i wartości prawda/fałsz dostają odpowiednie typy, a kolumna o mieszanej zawartości pozostaje tekstem. Po konwersji sprawdź kody z zerami na początku, np. kody pocztowe lub ZIP, takie jak 02134, i zachowaj je jako tekst, jeśli zero ma zostać.
Czy mogę przekonwertować kilka plików CSV o tym samym układzie?
Tak, do 20 w jednej partii, a każdy stanie się osobnym plikiem .parquet. Umieść je w jednym folderze, a DuckDB lub Spark odczytają je razem za pomocą wzorca, np. sales_*.parquet.
Jak zajrzeć do pliku Parquet bez pisania kodu?
Excel i Arkusze Google nie otworzą pliku .parquet po dwukrotnym kliknięciu. Zamień go z powrotem na wiersze za pomocą Parquet na CSV lub użyj wiersza poleceń DuckDB, jeśli potrafisz napisać jedno zapytanie SQL.