Převodník CSV do Parquet

CSV se snadno vytváří, ale dotazy nad ním jsou pomalé. Nahrajte CSV a získáte soubor Apache Parquet s datovým typem pro každé pole, komprimovaný a připravený pro analytický nástroj, do kterého ho načtete.

nebo sem přetáhněte soubory CSV, TSV, TXT … ·

Max. 95 MB na soubor· Až 20 souborů· Smazáno po 30 minutách

Výstup

Převést na

Soubory se zpracovávají na našich serverech a po 30 minutách se smažou.

CSV a text

Oddělovač

Znak, který odděluje sloupce v souborech CSV a textových souborech, při čtení i zápisu. Automaticky ho zjistí ze vstupu a zapisuje čárky.

Kódování textu

UTF-8 funguje pro všechny jazyky. Zvolte UTF-8 s BOM, pokud Excel ve Windows po otevření CSV zobrazuje rozbitou diakritiku nebo asijské znaky.

První řádek je záhlaví

Použít první řádek jako názvy sloupců: stanou se klíči JSON, značkami XML, názvy sloupců SQL a mapováním polí vCard. Vypněte, pokud je na řádku 1 data.

Listy

Listy k převodu

Vstup Excel, ODS a Numbers: převést jen první list, nebo všechny listy (jedno CSV na list v ZIPu, nebo jeden klíč JSON na list).

JSON, XML a SQL

Hodnoty

Data

Přepíše buňky s datem do jednoho formátu. ISO (2026-10-18) je nejbezpečnější pro databáze a kód; Ponechat je nechá tak, jak jsou ve zdroji.

Oříznout mezery

Odstraní mezery na začátku a na konci každé hodnoty, což je častá příčina neúspěšného vyhledávání po importu.

Jak nástroj používat

1
Nahrajte soubory CSV
Přidejte jeden export nebo až 20 souborů se stejnou strukturou, každý do 95 MB. Nastavení Oddělovač na automatickou detekci si poradí s čárkami, středníky, tabulátory i svislítky.
2
Ponechte nastavení záhlaví a dat
Volba První řádek je záhlaví použije první řádek jako názvy sloupců. U položky Data je nastaveno ISO, takže se sloupce s daty zapíší jednotným způsobem.
3
Převeďte do Parquet
Stiskněte Převést na Parquet a soubor .parquet načtěte do pandas, DuckDB, Sparku nebo do svého datového skladu.

Proč datové týmy převádějí CSV do Parquet

Parquet vznikl v roce 2013 z dílny inženýrů Twitteru a Cloudery. Vychází ze sloupcového uspořádání popsaného ve studii Google Dremel z roku 2010 a v roce 2015 se stal projektem nejvyšší úrovně Apache. Myšlenka je jednoduchá: místo ukládání tabulky po řádcích jako u CSV ukládá všechny hodnoty jednoho sloupce pohromadě. Dotaz, který potřebuje tři sloupce ze čtyřiceti, přečte jen ty tři, a podobné hodnoty uložené vedle sebe se komprimují mnohem lépe.

Proto analytici exporty před načtením převádějí, datoví inženýři žádají od dodavatelů Parquet místo CSV a služby jako Amazon Athena a BigQuery, které mohou účtovat podle objemu prohledaných dat, se dotazují levněji. CSV také neví, zda je 0042 číslo, nebo kód; Parquet si pro každý sloupec zaznamená typ, takže další nástroj nemusí hádat.

Parquet vs. CSV vs. XLSX u velkých tabulek

	Parquet	CSV	XLSX
Typy sloupců uložené v souboru	yes	no	Po buňkách
Čte jen sloupce, které dotaz potřebuje	yes	no	no
Komprimovaný	yes	no	yes
Čitelný v textovém editoru	no	yes	no
Otevře se v Excelu dvojitým kliknutím	no	yes	yes
Řádků na soubor	Bez pevného limitu	Bez pevného limitu	1 048 576 na list

Co se změní, když se z CSV stane Parquet

Co získáte

Rychlejší dotazy, které čtou jen potřebné sloupce
Menší soubory k ukládání i přenosu
Schéma, které další nástroj přečte, místo aby hádal
Data zapsaná jednotně ve formátu ISO

Na co pamatovat

Nelze upravovat v tabulkovém ani textovém editoru
Překlep v číselném sloupci může změnit celý sloupec na text
CSV si ponechte, pokud ho lidé stále potřebují otevírat

Fakta o formátech CSV a Parquet

CSV

Hodnoty oddělené čárkami

CSV je textový formát pro tabulky, v němž každý řádek je záznam a sloupce se oddělují čárkami. Používá se od počátků výpočetní techniky a popisuje ho RFC 4180, i když mnoho variant používá středníky nebo tabulátory a různá kódování textu. Importovat a exportovat ho umí téměř každá tabulka, databáze i analytický nástroj, takže je výchozím formátem pro přenos dat mezi systémy. CSV ukládá pouze hodnoty, bez vzorců, formátování, více listů a datových typů.

Komprese: –
Průhlednost: –
Animace: –
Představeno: –

Převodník CSV

PARQUET

Apache Parquet

Parquet je open-source sloupcový formát úložiště, který vytvořily Twitter a Cloudera v roce 2013 a spravuje ho Apache Software Foundation. Ukládá data po sloupcích se silnou kompresí a typovanými schématy, takže analytické nástroje čtou jen sloupce, které potřebují. Je standardem v datových jezerech a nástrojích jako Spark, pandas, DuckDB, BigQuery a Snowflake. Soubory Parquet jsou binární a nelze je otevřít v textovém editoru ani v běžné tabulkové aplikaci.

Komprese: Bezztrátová
Průhlednost: –
Animace: –
Představeno: 2013 · Apache Software Foundation (from Twitter and Cloudera)

Převodník PARQUET

CSV se mění na Parquet ve chvíli, kdy soubor přestává být něčím, co lidé otevírají, a stává se něčím, co dotazy procházejí: denní export ukládaný do datového jezera, datová sada sdílená s analytiky nebo logy filtrované podle několika sloupců.

CSV upravte raději před převodem než po něm: opravte názvy záhlaví, odstraňte souhrnné řádky na konci a zajistěte, aby každý sloupec obsahoval jeden druh hodnot. Pokud zdrojem není CSV, ale záloha databáze, začněte nástrojem SQL do CSV. Všechny ostatní cílové formáty, od JSON po SQL, najdete na stránce převodník dat.

Otázky k převodu CSV do Parquet

O kolik bude soubor Parquet menší než moje CSV?

Záleží na datech. Sloupce s mnoha opakujícími se hodnotami, například kódy zemí, stavy nebo data, se komprimují velmi dobře, sloupce s jedinečnými ID nebo volným textem se zmenší méně. Soubor Parquet bývá zlomkem velikosti CSV, žádný pevný poměr ale slíbit nelze.

Které nástroje převedený soubor .parquet načtou?

pandas s funkcí read_parquet, Polars, DuckDB s obyčejným SELECT nad názvem souboru, Apache Spark a cloudové sklady dat, například BigQuery, Snowflake, Amazon Athena a Redshift Spectrum. Většina z nich dokáže složku souborů Parquet se stejnými sloupci dotazovat jako jednu tabulku.

Jak se určují typy sloupců?

Podle hodnot v jednotlivých sloupcích: celá čísla, desetinná čísla, data a hodnoty pravda/nepravda dostanou odpovídající typ, sloupec se smíšeným obsahem zůstane textový. Po převodu zkontrolujte kódy s úvodními nulami, například PSČ typu 02134, a pokud si nulu musí zachovat, ponechte je jako text.

Mohu převést více souborů CSV se stejnou strukturou?

Ano, až 20 najednou a každý se stane samostatným souborem .parquet. Uložte je do jedné složky a DuckDB nebo Spark je přečtou společně pomocí zástupného znaku, například sales_*.parquet.

Jak se podívat do souboru Parquet bez programování?

Excel ani Google Sheets soubor .parquet po dvojitém kliknutí neotevřou. Převeďte jej zpět na řádky pomocí Parquet do CSV nebo použijte příkazový řádek DuckDB, pokud vám nevadí jeden SQL dotaz.