UltKit

Pretvornik Parquet v CSV

Odprite datoteko .parquet, ne da bi namestili celotno podatkovno okolje. Stolpci, shranjeni v njej, se zapišejo kot navadne vrstice CSV, ki jih preglednica, orodje BI ali sodelavec takoj odpre.

Pretvornik podatkov

ali spustite datoteke CSV, TSV, TXT … sem ·

Največ 95 MB na datoteko· Do 20 datotek· Izbrisano po 30 minutah

Izhod

Datoteke se obdelajo na naših strežnikih in izbrišejo po 30 minutah.

Kako uporabljati to orodje

  1. 1

    Naložite datoteke Parquet

    Dodajte eno datoteko .parquet ali do 20 delnih datotek iz istega nabora podatkov, vsako do 95 MB.

  2. 2

    Preverite datume in kodiranje

    Možnost Datumi je nastavljena na ISO, zato so časovni žigi zapisani kot 2026-10-18 in ne kot surove številke. V razdelku Napredne nastavitve izberite Ločilo podpičje za evropsko različico Excela ali UTF-8 z BOM v polju Kodiranje besedila.

  3. 3

    Pretvorite v CSV

    Pritisnite Pretvori v CSV in prenesite datoteko. Odprite jo v preglednici ali jo naložite v katero koli orodje, ki sprejema CSV.

Kdo potrebuje Parquet kot CSV

Parquet je leta 2013 nastal kot skupni projekt podjetij Twitter in Cloudera, zasnovan na zamislih o razdrobitvi zapisov iz Googlovega članka o Dremelu, leta 2015 pa je postal vrhnji projekt Apache. Danes je privzeti format shranjevanja v podatkovnih jezerih. Vanj izvažata BigQuery in Snowflake, Spark ga zapisuje privzeto, Hugging Face Hub pa vanj samodejno pretvarja javne nabore podatkov.

To je odlično za inženirje, za vse druge pa nerodno. Produktni vodja, ki dobi datoteko .parquet, raziskovalec, ki prenese nabor podatkov, ali računovodja, ki prejme izvoz iz skladišča, običajno nima orodja, s katerim bi jo odprl. CSV je skupni imenovalec, ki ga bere vsaka preglednica in vsak uvoznik. Če prejemniki podatkov raje uporabljajo oblikovan delovni zvezek, CSV pretvorite naprej z orodjem CSV v XLSX.

Parquet ali CSV: stolpci na disku proti vrsticam besedila

Izvor

Parquet

Dvojiški zapis po stolpcih, shema je shranjena v nogi datoteke.

  • Tipizirane vrednosti: int64, decimal, timestamp, boolean
  • Gnezdene strukture in seznami
  • Stisnjen po stolpcih, bere se selektivno
Najboljše za: Skladišča podatkov, Spark, pandas in DuckDB
Izhod

CSV

Navadno besedilo, en zapis v vrstici, vrednosti so ločene z vejicami, kot opisuje RFC 4180.

  • Vsaka vrednost je besedilo
  • Ploščat zapis: ena vrednost na celico
  • Odpre se v vsaki preglednici ali urejevalniku
Najboljše za: Ljudi, preglednice in zaslone za uvoz
from ↓ · to →CSVXLSXJSONParquet
ParquetParquet to CSV: yesParquet to XLSX: yesParquet to JSON: yes– Parquet to Parquet: no
CSV– CSV to CSV: noCSV to XLSX: yesCSV to JSON: yesCSV to Parquet: yes
JSONJSON to CSV: yesJSON to XLSX: yes– JSON to JSON: noJSON to Parquet: yes
supported not offeredVsak navedeni par se izvaja v pretvorniku podatkov; pomišljaj označuje isti format na vhodu in izhodu.

Kaj se spremeni, ko datoteka Parquet postane CSV

Prva žrtev so podatkovne vrste. Znesek decimal(18,2), ID int64 in časovni žig v UTC postanejo znaki, kdor odpre CSV, pa se znova odloči, kako jih bo prebral. Excel na primer prikaže le 15 pomembnih števk, zato je treba 19-mestne ID-je iz skladišča uvoziti kot besedilo, ne pa jih odpreti z dvoklikom. Izgine tudi razlika med null in praznim nizom, saj sta oba zapisana kot prazno polje.

Druga je velikost. Stiskanje po stolpcih je razlog, da so datoteke Parquet majhne; navadno besedilo ga nima, zato CSV zraste. List v Excelu sprejme 1.048.576 vrstic, velike tabele pa to zlahka presežejo, zato pred pošiljanjem datoteke uporabniku preglednice preverite število vrstic. Druge cilje, od SQL do JSON, najdete na strani pretvornika podatkov.

Dejstva o formatih Apache Parquet in CSV

PARQUET

Apache Parquet

Parquet je odprtokodna stolpčna oblika shranjevanja, ki sta jo leta 2013 ustvarila Twitter in Cloudera, vzdržuje pa jo Apache Software Foundation. Podatke hrani po stolpcih z močnim stiskanjem in tipiziranimi shemami, zato analitična orodja preberejo le stolpce, ki jih potrebujejo. Je standard v podatkovnih jezerih in orodjih, kot so Spark, pandas, DuckDB, BigQuery in Snowflake. Datoteke Parquet so binarne in jih ni mogoče odpreti v urejevalniku besedil ali navadni preglednici.

Stiskanje
Brez izgube kakovosti
Prosojnost
–
Animacija
–
Uvedeno
2013 · Apache Software Foundation (from Twitter and Cloudera)
Pretvornik PARQUET

CSV

Vrednosti, ločene z vejicami

CSV je navadnobesedilni format za tabele, v katerem je vsaka vrstica zapis, vejice pa ločujejo stolpce. Uporablja se od zgodnjih dni računalništva in je opisan v RFC 4180, čeprav številne različice uporabljajo podpičja ali tabulatorje in različna besedilna kodiranja. Skoraj vsako preglednico, zbirko podatkov in analitično orodje lahko uvozi in izvozi, zato je privzeti format za prenos podatkov med sistemi. CSV hrani le vrednosti, brez formul, oblikovanja, več listov ali podatkovnih tipov.

Stiskanje
–
Prosojnost
–
Animacija
–
Uvedeno
–
Pretvornik CSV

Parquet se pretvarja v CSV, ko podatki zapustijo inženirsko stran: izvoz iz BigQuery, nabor podatkov s Hugging Face ali tabela iz podatkovnega jezera mora priti do analitika, finančne ekipe ali orodja, ki bere samo vrstice besedila.

Vprašanja o pretvorbi Parquet v CSV

Kako odprem datoteko Parquet brez Pythona?

Pretvorite jo tukaj in odprite CSV. Excel, Numbers in Google Sheets ne znajo odpreti datotek .parquet z dvoklikom, običajne alternative, kot so pandas, Spark ali ukazna vrstica DuckDB, pa vse predpostavljajo, da vam ni težko nameščati in izvajati kode.

Zakaj je CSV toliko večji od datoteke Parquet?

Parquet shranjuje vsak stolpec skupaj, ponavljajoče se vrednosti zapiše enkrat v slovar in rezultat stisne, običajno s Snappy ali Zstandard. CSV pa vsako vrednost v vsaki vrstici zapiše v celoti kot besedilo. CSV, ki je večkrat večji od izvirnega Parquet, je običajen, zato pustite dovolj prostora na disku in preverite število vrstic, preden ga odprete v Excelu.

Kaj se zgodi z gnezdenimi stolpci tipa struct in list?

Struktura (struct) se razporedi v dodatne stolpce s poimenovanjem s pikami, na primer address.city. Seznam ostane v eni celici kot besedilo JSON, ker vrstica CSV ne more imeti različnega števila celic za posamezen zapis.

Opravilo Spark je ustvarilo mapo z delnimi datotekami. Katero naj naložim?

Vse. Spark, Hive in podobni pogoni razdelijo en nabor podatkov v datoteke z imeni, kot je part-00000.parquet, pri čemer je vsaka popolna datoteka Parquet z enako shemo. Naložite do 20 datotek hkrati in dobite po en CSV za vsak del, ki jih lahko nato združite.

Ali lahko CSV po urejanju pretvorim nazaj v Parquet?

Da, z orodjem CSV v Parquet. Vrste stolpcev se znova določijo iz besedila, zato preverite, ali so ID-ji z vodilnimi ničlami in decimalni zneski vrnjeni z vrstami, ki jih pričakuje vaš postopek.