UltKit

Prevod Parquet do CSV

Otvorte súbor .parquet bez inštalácie dátových nástrojov. Stĺpce uložené v súbore sa zapíšu ako obyčajné riadky CSV, ktoré hneď otvorí tabuľkový procesor, BI nástroj aj váš kolega.

Prevodník dát

alebo sem presuňte súbory CSV, TSV, TXT … ·

Max. 95 MB na súbor· Až 20 súborov· Odstránenie po 30 minútach

Výstup

Súbory sa spracúvajú na našich serveroch a po 30 minútach sa odstránia.

Ako používať tento nástroj

  1. 1

    Nahrajte súbory Parquet

    Pridajte jeden súbor .parquet alebo až 20 častí (part súborov) z jednej množiny dát, každý do 95 MB.

  2. 2

    Skontrolujte dátumy a kódovanie

    Možnosť Dátumy je nastavená na ISO, takže časové značky sa zobrazia ako 2026-10-18 a nie ako surové čísla. V časti Rozšírené nastavenia zvoľte v poli Oddeľovač bodkočiarku pre európsky Excel alebo UTF-8 s BOM v poli Kódovanie textu.

  3. 3

    Preveďte do CSV

    Stlačte Previesť na CSV a súbor stiahnite. Otvorte ho v tabuľkovom procesore alebo ho načítajte všade, kde sa CSV akceptuje.

Kto potrebuje Parquet ako CSV

Parquet vznikol v roku 2013 ako spoločný projekt Twitteru a Cloudery, vychádza z myšlienok rozkladu záznamov z článku o Dremel od Googlu a v roku 2015 sa stal projektom najvyššej úrovne Apache. Dnes je predvoleným formátom ukladania v data lakoch. Exportujú doň BigQuery a Snowflake, Spark ho zapisuje štandardne a Hugging Face Hub doň automaticky prevádza verejné množiny dát.

Pre inžinierov je to skvelé, pre ostatných nepohodlné. Produktový manažér, ktorý dostal súbor .parquet, výskumník sťahujúci množinu dát alebo účtovník s výpisom zo skladu dát zvyčajne nemá nástroj, ktorý ho otvorí. CSV je najmenší spoločný menovateľ, ktorý číta každý tabuľkový procesor aj import. Ak príjemcovia dát radšej používajú formátovaný zošit, preveďte CSV ďalej cez CSV do XLSX.

Parquet a CSV: stĺpce na disku verzus riadky textu

Zdroj

Parquet

Binárny formát po stĺpcoch so schémou uloženou v pätičke súboru.

  • Typované hodnoty: int64, decimal, timestamp, boolean
  • Vnorené štruktúry a zoznamy
  • Komprimovaný po stĺpcoch, číta sa selektívne
Najlepšie na: Sklady dát, Spark, pandas a DuckDB
Výstup

CSV

Čistý text, jeden záznam na riadok, hodnoty oddelené čiarkami podľa RFC 4180.

  • Každá hodnota je text
  • Plochý: jedna hodnota v bunke
  • Otvorí sa v každom tabuľkovom procesore či editore
Najlepšie na: Ľudia, tabuľky a importné obrazovky
from ↓ · to →CSVXLSXJSONParquet
ParquetParquet to CSV: yesParquet to XLSX: yesParquet to JSON: yes– Parquet to Parquet: no
CSV– CSV to CSV: noCSV to XLSX: yesCSV to JSON: yesCSV to Parquet: yes
JSONJSON to CSV: yesJSON to XLSX: yes– JSON to JSON: noJSON to Parquet: yes
supported not offeredKaždá uvedená dvojica beží na konvertore dát; pomlčka označuje rovnaký formát na vstupe aj výstupe.

Čo sa zmení, keď sa zo súboru Parquet stane CSV

Prvou obeťou sú typy. Suma decimal(18,2), ID int64 aj časová značka v UTC sa zmenia na znaky a ten, kto CSV otvorí, rozhodne, ako ich znova prečíta. Excel napríklad zobrazuje len 15 platných číslic, takže 19-miestne ID zo skladu dát treba importovať ako text, nie otvoriť dvojklikom. Zaniká aj rozdiel medzi null a prázdnym reťazcom, keďže oba sa zapíšu ako prázdne pole.

Druhou je veľkosť. Stĺpcová kompresia je dôvod, prečo sú súbory Parquet malé; čistý text ju nemá, takže CSV narastie. List v Exceli pojme 1 048 576 riadkov a veľké tabuľky to ľahko prekročia, preto pred odoslaním súboru používateľovi tabuľky skontrolujte počet riadkov. Ďalšie cieľové formáty, od SQL po JSON, nájdete na stránke konvertora dát.

Fakty o formátoch Apache Parquet a CSV

PARQUET

Apache Parquet

Parquet je open-source stĺpcový formát ukladania, ktorý v roku 2013 vytvorili Twitter a Cloudera a spravuje ho Apache Software Foundation. Ukladá dáta po stĺpcoch so silnou kompresiou a typovanými schémami, takže analytické nástroje môžu čítať iba stĺpce, ktoré potrebujú. Je štandardom v dátových jazerách a v nástrojoch ako Spark, pandas, DuckDB, BigQuery a Snowflake. Súbory Parquet sú binárne a nedajú sa otvoriť v textovom editore ani v bežnej tabuľkovej aplikácii.

Kompresia
Bezstratová
Priehľadnosť
–
Animácia
–
Rok vzniku
2013 · Apache Software Foundation (from Twitter and Cloudera)
Konvertor PARQUET

CSV

Hodnoty oddelené čiarkou

CSV je textový formát pre tabuľky, v ktorom každý riadok je záznam a stĺpce oddeľujú čiarky. Používa sa od počiatkov výpočtovej techniky a popisuje ho RFC 4180, hoci mnohé varianty používajú bodkočiarky alebo tabulátory a rôzne kódovania textu. Importovať a exportovať ho vie takmer každá tabuľka, databáza a analytický nástroj, preto je predvoleným formátom na prenos dát medzi systémami. CSV ukladá iba hodnoty, bez vzorcov, formátovania, viacerých hárkov či dátových typov.

Kompresia
–
Priehľadnosť
–
Animácia
–
Rok vzniku
–
Konvertor CSV

Parquet sa prevádza na CSV, keď dáta opúšťajú technickú stranu: export z BigQuery, množina dát z Hugging Face alebo tabuľka z data lake sa musí dostať k analytikovi, finančnému tímu alebo nástroju, ktorý číta len riadky textu.

Otázky o prevode Parquet do CSV

Ako otvoriť súbor Parquet bez Pythonu?

Previesť ho tu a otvorte CSV. Excel, Numbers ani Google Sheets neotvoria .parquet dvojklikom a bežné alternatívy, ako pandas, Spark alebo príkazový riadok DuckDB, počítajú s tým, že vám nerobí problém inštalovať a spúšťať kód.

Prečo je CSV oveľa väčšie ako súbor Parquet?

Parquet ukladá každý stĺpec zvlášť, opakujúce sa hodnoty zakóduje raz do slovníka a výsledok skomprimuje, zvyčajne pomocou Snappy alebo Zstandard. CSV zapisuje každú hodnotu v plnom znení ako text v každom riadku. CSV niekoľkonásobne väčšie než zdrojový Parquet je bežné, preto nechajte miesto na disku a pred otvorením v Exceli skontrolujte počet riadkov.

Čo sa stane s vnorenými stĺpcami typu struct a list?

Štruktúra (struct) sa rozloží do ďalších stĺpcov s názvami oddelenými bodkou, napríklad address.city. Zoznam (list) zostane v jednej bunke ako text JSON, pretože riadok CSV nemôže mať pri každom zázname iný počet buniek.

Úloha v Sparku vytvorila priečinok so súbormi part. Ktoré mám nahrať?

Všetky. Spark, Hive a podobné nástroje rozdeľujú jednu množinu dát na súbory s názvami ako part-00000.parquet, pričom každý je úplný súbor Parquet s rovnakou schémou. Nahrajte naraz až 20 a dostanete jedno CSV pre každú časť, ktoré môžete potom spojiť.

Môžem po úprave previesť CSV späť do Parquet?

Áno, cez CSV do Parquet. Typy stĺpcov sa znova odvodia z textu, preto skontrolujte, či sa ID s úvodnými nulami a desatinné sumy vrátia s typmi, ktoré očakáva váš pipeline.