UltKit

Kibadilishaji Parquet kuwa CSV

Soma faili ya .parquet bila kusakinisha mfumo wa programu za data. Safu wima zilizohifadhiwa ndani huandikwa upya kama safu za kawaida za CSV ambazo lahajedwali, zana ya BI au mwenzako anaweza kuzifungua mara moja.

Kibadilishaji cha Data

au buruta Faili za CSV, TSV, TXT … hapa ·

Hadi MB 95 kwa faili· Hadi faili 20· Hufutwa baada ya dakika 30

Matokeo

Faili huchakatwa kwenye seva zetu na kufutwa baada ya dakika 30.

Jinsi ya kutumia zana hii

  1. 1

    Pakia faili za Parquet

    Ongeza faili moja ya .parquet au hadi faili 20 za sehemu kutoka seti moja ya data, kila moja isiyozidi 95 MB.

  2. 2

    Kagua tarehe na usimbaji

    Tarehe imewekwa kuwa ISO, kwa hiyo mihuri ya muda inaonekana kama 2026-10-18 badala ya namba ghafi. Chini ya Mipangilio ya hali ya juu, chagua Kitenganishi Nukta mkato kwa Excel ya Ulaya, au UTF-8 with BOM katika Usimbaji wa maandishi.

  3. 3

    Badilisha kuwa CSV

    Bonyeza Badilisha kuwa CSV kisha pakua. Fungua faili kwenye lahajedwali au iweke popote ambapo CSV inakubaliwa.

Nani anahitaji Parquet kama CSV

Parquet ilianza mwaka 2013 kama mradi wa pamoja wa Twitter na Cloudera, ikijengwa juu ya mawazo ya record-shredding katika waraka wa Dremel wa Google, na ikawa mradi wa ngazi ya juu wa Apache mwaka 2015. Leo ni muundo chaguo-msingi wa uhifadhi wa data lakes. BigQuery na Snowflake husafirisha data kwa muundo huo, Spark huandika nao kwa chaguo-msingi, na Hugging Face Hub huzibadilisha seti za data za umma kuwa Parquet kiotomatiki.

Hilo ni zuri kwa wahandisi lakini gumu kwa wengine. Meneja wa bidhaa aliyepewa faili ya .parquet, mtafiti anayepakua seti ya data, au mhasibu anayepokea data kutoka ghala la data mara nyingi hana zana ya kuifungua. CSV ndio muundo wa kawaida unaosomwa na kila lahajedwali na kila zana ya kuingiza data. Ikiwa wanaopokea data wanapendelea kitabu cha kazi kilichopangiliwa, badilisha CSV zaidi kwa CSV kuwa XLSX.

Parquet dhidi ya CSV: safu wima kwenye diski dhidi ya mistari ya maandishi

Chanzo

Parquet

Binary, safu wima kwa safu wima, na skima ikihifadhiwa kwenye sehemu ya mwisho ya faili.

  • Thamani zenye aina: int64, decimal, timestamp, boolean
  • Struct na orodha zilizoundamana
  • Hubanwa kwa kila safu wima, husomwa kwa kuchagua
Inafaa zaidi kwa: Maghala ya data, Spark, pandas na DuckDB
Matokeo

CSV

Maandishi matupu, rekodi moja kwa kila mstari, thamani zikitenganishwa kwa koma kama RFC 4180 inavyoelezea.

  • Kila thamani ni maandishi
  • Bapa: thamani moja kwa kila seli
  • Hufunguka kwenye lahajedwali au kihariri chochote
Inafaa zaidi kwa: Watu, lahajedwali na skrini za kuingiza data
from ↓ · to →CSVXLSXJSONParquet
ParquetParquet to CSV: yesParquet to XLSX: yesParquet to JSON: yes– Parquet to Parquet: no
CSV– CSV to CSV: noCSV to XLSX: yesCSV to JSON: yesCSV to Parquet: yes
JSONJSON to CSV: yesJSON to XLSX: yes– JSON to JSON: noJSON to Parquet: yes
supported not offeredKila jozi iliyoorodheshwa hutumia kibadilishaji data; kistari kinaonyesha muundo uleule wa kuingiza na kutoa.

Nini hubadilika faili ya Parquet inapokuwa CSV

Aina za data ndizo za kwanza kupotea. Kiasi cha decimal(18,2), kitambulisho cha int64 na timestamp ya UTC vyote huwa herufi, na anayefungua CSV ndiye anayeamua jinsi ya kuvisoma tena. Excel, kwa mfano, huonyesha tarakimu 15 tu muhimu, kwa hiyo vitambulisho vya tarakimu 19 kutoka ghala la data viingizwe kama maandishi, si kufunguliwa kwa kubofya mara mbili. Tofauti kati ya null na maandishi matupu pia hupotea, kwa kuwa vyote huandikwa kama sehemu tupu.

Ukubwa ni la pili. Ubanaji wa safu wima ndio sababu faili za Parquet ni ndogo; maandishi matupu hayana ubanaji, kwa hiyo CSV huongezeka. Karatasi ya Excel hubeba safu mlalo 1,048,576, na majedwali makubwa yanaweza kuvuka kiwango hicho kwa urahisi, kwa hiyo angalia idadi ya safu mlalo kabla ya kutuma faili kwa mtumiaji wa lahajedwali. Miundo mingine, kuanzia SQL hadi JSON, iko kwenye ukurasa wa kibadilishaji data.

Ukweli kuhusu miundo ya Apache Parquet na CSV

PARQUET

Apache Parquet

Parquet ni muundo huria wa uhifadhi wa safu wima ulioundwa na Twitter na Cloudera mwaka 2013 na kudumishwa na Apache Software Foundation. Huhifadhi data kwa safu wima kwa ubanaji mzuri na skima zenye aina, hivyo zana za uchanganuzi zinaweza kusoma safu wima zinazohitajika tu. Ni kiwango katika data lake na zana kama Spark, pandas, DuckDB, BigQuery na Snowflake. Faili za Parquet ni za binary na haziwezi kufunguliwa kwenye kihariri cha maandishi au programu ya kawaida ya lahajedwali.

Ubanaji
Bila upotevu
Uwazi
–
Uhuishaji
–
Mwaka ulioanzishwa
2013 · Apache Software Foundation (from Twitter and Cloudera)
Kigeuzi cha PARQUET

CSV

Thamani zilizotenganishwa kwa koma

CSV ni umbizo la maandishi matupu kwa majedwali ambapo kila mstari ni safu mlalo na koma hutenganisha safu wima. Limetumika tangu siku za awali za kompyuta na limeelezwa katika RFC 4180, ingawa tofauti nyingi hutumia nukta-mkato au tab na usimbaji tofauti wa maandishi. Karibu kila lahajedwali, hifadhidata na zana ya uchanganuzi inaweza kuliingiza na kulihamisha, jambo linalolifanya kuwa umbizo chaguomsingi la kuhamisha data kati ya mifumo. CSV huhifadhi thamani tu, bila fomula, uumbizaji, karatasi nyingi au aina za data.

Ubanaji
–
Uwazi
–
Uhuishaji
–
Mwaka ulioanzishwa
–
Kigeuzi cha CSV

Parquet hubadilishwa kuwa CSV data inapotoka upande wa uhandisi: usafirishaji kutoka BigQuery, seti ya data ya Hugging Face au jedwali la data lake lazima lifike kwa mchambuzi, timu ya fedha au zana inayosoma safu mlalo za maandishi tu.

Maswali kuhusu kubadilisha Parquet kuwa CSV

Ninawezaje kufungua faili ya Parquet bila Python?

Ibadilishe hapa kisha ufungue CSV. Excel, Numbers na Google Sheets haziwezi kusoma .parquet kwa kubofya mara mbili, na njia mbadala za kawaida, kama pandas, Spark au mstari wa amri wa DuckDB, zote zinadhani uko tayari kusakinisha na kuendesha msimbo.

Kwa nini CSV ni kubwa zaidi sana kuliko faili ya Parquet?

Parquet huhifadhi kila safu wima pamoja, husimba thamani zinazorudiwa mara moja kwenye kamusi na kubana matokeo, kwa kawaida kwa Snappy au Zstandard. CSV huandika kila thamani kamili kama maandishi kwenye kila safu mlalo. CSV kuwa kubwa mara kadhaa kuliko chanzo chake cha Parquet ni kawaida, kwa hiyo acha nafasi kwenye diski na angalia idadi ya safu mlalo kabla ya kuifungua kwenye Excel.

Nini hutokea kwa safu wima zilizo na struct na list?

Struct hutawanywa kwenye safu wima za ziada zenye majina yenye nukta, kama address.city. Orodha hubaki kwenye seli moja kama maandishi ya JSON, kwa sababu safu mlalo ya CSV haiwezi kuwa na idadi tofauti ya seli kwa kila rekodi.

Kazi yangu ya Spark iliandika folda yenye faili za sehemu. Nipakie ipi?

Zote. Spark, Hive na injini zinazofanana hugawanya seti moja ya data kuwa faili zenye majina kama part-00000.parquet, kila moja ikiwa faili kamili ya Parquet yenye skima ile ile. Pakia hadi 20 pamoja na utapata CSV moja kwa kila sehemu, ambazo unaweza kuziunganisha baadaye.

Je, ninaweza kurudisha CSV kuwa Parquet baada ya kuihariri?

Ndiyo, kwa CSV kuwa Parquet. Aina za safu wima hukisiwa tena kutoka kwenye maandishi, kwa hiyo hakikisha vitambulisho vyenye sifuri mwanzoni na kiasi cha desimali vinarudi na aina ambazo mfumo wako unatarajia.