Badilisha CSV kuwa Parquet
CSV ni rahisi kutengeneza lakini ni polepole kuuliza. Pakia CSV upate faili ya Apache Parquet yenye aina ya safu kwa kila sehemu, iliyobanwa na tayari kwa zana ya uchanganuzi utakayoipakia.
Kibadilishaji cha Data
au buruta Faili za CSV, TSV, TXT … hapa ·
Hadi MB 95 kwa faili· Hadi faili 20· Hufutwa baada ya dakika 30
Faili huchakatwa kwenye seva zetu na kufutwa baada ya dakika 30.
Kibambo kinachotenganisha safu wima katika faili za CSV na maandishi, kwa kusoma na kuandika. Chaguo la Gundua kiotomatiki hukitambua kutoka kwenye ingizo na huandika koma.
UTF-8 inafanya kazi kwa lugha zote. Chagua UTF-8 with BOM ikiwa Excel kwenye Windows inaonyesha herufi zenye vinjari au herufi za Kiasia zilizoharibika wakati wa kufungua CSV.
Ingizo la Excel, ODS na Numbers: geuza karatasi ya kwanza pekee, au karatasi zote (CSV moja kwa kila karatasi ndani ya ZIP, au ufunguo mmoja wa JSON kwa kila karatasi).
Jina la kichupo cha karatasi katika lahajedwali mpya, hadi herufi 31.
Safu ya vitu hutumia majina ya safu wima kama funguo kwa kila safu mlalo; safu ya safu ni fupi zaidi na huweka kichwa kama safu ya kwanza.
Jina la kipengele cha nje kinachozunguka safu mlalo zote; kila safu mlalo inakuwa <row> ndani yake.
Hutumika katika taarifa za CREATE TABLE na INSERT. Herufi, tarakimu na mistari chini pekee.
Nukuu na aina za safu wima hutofautiana kidogo kati ya hifadhidata; chagua ile utakayoingizia data.
Andika upya visanduku vya tarehe katika umbizo moja. ISO (2026-10-18) ndiyo salama zaidi kwa hifadhidata na msimbo; Acha kama ilivyo huviacha kama vinavyoonekana kwenye chanzo.
Jinsi ya kutumia zana hii
- 1
Pakia faili za CSV
Ongeza usafirishaji mmoja au hadi faili 20 zenye muundo ule ule, kila moja hadi MB 95. Kitenganishi kikiwa kwenye Gundua kiotomatiki hushughulikia koma, nukta-mkato, tabo na mistari wima.
- 2
Acha mipangilio ya kichwa na tarehe kama ilivyo
Safu ya kwanza ni kichwa hugeuza mstari wa kichwa kuwa majina ya safu wima. Tarehe imewekwa kwenye ISO ili safu za tarehe ziandikwe kwa umbo moja thabiti.
- 3
Badilisha kuwa Parquet
Bonyeza Badilisha kuwa Parquet kisha pakia faili ya .parquet kwenye pandas, DuckDB, Spark au ghala lako la data.
Kwa nini timu za data hubadilisha CSV kuwa Parquet
Parquet iliundwa mwaka 2013 na wahandisi wa Twitter na Cloudera, ikitumia mpangilio wa safu wima ulioelezwa na Google katika karatasi yake ya Dremel ya 2010, na ikawa mradi mkuu wa Apache mwaka 2015. Wazo ni rahisi: badala ya kuhifadhi jedwali safu mlalo kwa safu mlalo kama CSV, huhifadhi thamani zote za safu moja pamoja. Hoja inayohitaji safu tatu kati ya arobaini husoma tatu tu, na thamani zinazofanana zikiwa karibu hubanwa vizuri zaidi.
Ndiyo maana wachambuzi hubadilisha usafirishaji kabla ya kuupakia, wahandisi wa data huwaomba wasambazaji Parquet badala ya CSV, na huduma kama Amazon Athena na BigQuery, ambazo zinaweza kutoza kulingana na kiasi cha data kinachochanganuliwa, huwa nafuu zaidi kuuliza. CSV pia haijui ikiwa 0042 ni namba au msimbo; Parquet hurekodi aina kwa kila safu, kwa hiyo zana inayofuata haihitaji kukisia.
Parquet dhidi ya CSV dhidi ya XLSX kwa majedwali makubwa
| Parquet | CSV | XLSX | |
|---|---|---|---|
| Aina za safu huhifadhiwa kwenye faili | yes | no | Kwa kila seli |
| Husoma safu tu ambazo hoja inahitaji | yes | no | no |
| Imebanwa | yes | no | yes |
| Inasomeka kwenye kihariri cha maandishi | no | yes | no |
| Hufunguka kwenye Excel kwa kubofya mara mbili | no | yes | yes |
| Safu mlalo kwa faili | Hakuna kikomo maalum | Hakuna kikomo maalum | 1,048,576 kwa kila karatasi |
Kinachobadilika CSV inapokuwa Parquet
Unachopata
- Hoja za haraka zaidi zinazosoma safu zinazohitajika tu
- Faili ndogo zaidi za kuhifadhi na kuhamisha
- Taswira ya muundo ambayo zana inayofuata huisoma badala ya kukisia
- Tarehe zimeandikwa mara moja kwa umbo la ISO
Cha kukumbuka
- Haihaririki kwenye lahajedwali wala kihariri cha maandishi
- Kosa moja la uchapaji kwenye safu ya namba linaweza kugeuza safu nzima kuwa maandishi
- Hifadhi CSV ikiwa watu bado wanahitaji kuifungua
Ukweli kuhusu miundo ya CSV na Parquet
CSV
Thamani zilizotenganishwa kwa koma
CSV ni umbizo la maandishi matupu kwa majedwali ambapo kila mstari ni safu mlalo na koma hutenganisha safu wima. Limetumika tangu siku za awali za kompyuta na limeelezwa katika RFC 4180, ingawa tofauti nyingi hutumia nukta-mkato au tab na usimbaji tofauti wa maandishi. Karibu kila lahajedwali, hifadhidata na zana ya uchanganuzi inaweza kuliingiza na kulihamisha, jambo linalolifanya kuwa umbizo chaguomsingi la kuhamisha data kati ya mifumo. CSV huhifadhi thamani tu, bila fomula, uumbizaji, karatasi nyingi au aina za data.
- Ubanaji
- –
- Uwazi
- –
- Uhuishaji
- –
- Mwaka ulioanzishwa
- –
PARQUET
Apache Parquet
Parquet ni muundo huria wa uhifadhi wa safu wima ulioundwa na Twitter na Cloudera mwaka 2013 na kudumishwa na Apache Software Foundation. Huhifadhi data kwa safu wima kwa ubanaji mzuri na skima zenye aina, hivyo zana za uchanganuzi zinaweza kusoma safu wima zinazohitajika tu. Ni kiwango katika data lake na zana kama Spark, pandas, DuckDB, BigQuery na Snowflake. Faili za Parquet ni za binary na haziwezi kufunguliwa kwenye kihariri cha maandishi au programu ya kawaida ya lahajedwali.
- Ubanaji
- Bila upotevu
- Uwazi
- –
- Uhuishaji
- –
- Mwaka ulioanzishwa
- 2013 · Apache Software Foundation (from Twitter and Cloudera)
CSV hubadilika kuwa Parquet faili inapoacha kuwa kitu ambacho watu hufungua na kuwa kitu ambacho hoja huchanganua: usafirishaji wa kila siku unaoingia kwenye data lake, seti ya data inayoshirikiwa na wachambuzi, au kumbukumbu zinazochujwa kwa safu chache kwa wakati mmoja.
Safisha CSV kabla ya kubadilisha, si baada: rekebisha majina ya vichwa, ondoa mistari ya muhtasari chini na hakikisha kila safu ina aina moja ya thamani. Ikiwa chanzo ni nakala rudufu ya hifadhidata na si CSV, anza na SQL kuwa CSV. Miundo mingine yote, kuanzia JSON hadi SQL, iko kwenye ukurasa wa kibadilishaji data.
Maswali kuhusu kubadilisha CSV kuwa Parquet
Faili ya Parquet itakuwa ndogo kiasi gani kuliko CSV yangu?
Inategemea data. Safu zenye thamani nyingi zinazojirudia, kama misimbo ya nchi, hali au tarehe, hubanwa vizuri sana, ilhali safu za vitambulisho vya kipekee au maandishi huru hupungua kidogo. Faili ya Parquet kwa kawaida ni sehemu ndogo ya ukubwa wa CSV, lakini hakuna uwiano maalum unaoweza kuahidiwa.
Ni zana zipi zinasoma faili ya .parquet iliyobadilishwa?
pandas kwa read_parquet, Polars, DuckDB kwa SELECT rahisi kwenye jina la faili, Apache Spark, na maghala ya wingu kama BigQuery, Snowflake, Amazon Athena na Redshift Spectrum. Nyingi kati ya hizo pia zinaweza kuuliza folda ya faili za Parquet zenye safu zile zile kama jedwali moja.
Aina za safu huamuliwa vipi?
Kutoka kwa thamani za kila safu: namba nzima, desimali, tarehe na thamani za kweli au si kweli hupewa aina zinazolingana, na safu yenye maudhui mchanganyiko hubaki maandishi. Baada ya kubadilisha, kagua misimbo yenye sifuri mwanzoni, kama misimbo ya posta kama 02134, na iweke kama maandishi ikiwa sifuri lazima ibaki.
Je, naweza kubadilisha faili kadhaa za CSV zenye mpangilio uleule?
Ndiyo, hadi 20 kwa mkupuo mmoja, na kila moja inakuwa faili yake ya .parquet. Ziweke kwenye folda moja na DuckDB au Spark zinaweza kuzisoma pamoja kwa kutumia kibadala kama sales_*.parquet.
Ninawezaje kuona ndani ya faili ya Parquet bila kuandika msimbo?
Excel na Google Sheets haziwezi kufungua .parquet kwa kubofya mara mbili. Irudishe kuwa safu mlalo kwa Parquet kuwa CSV, au tumia mstari wa amri wa DuckDB ikiwa uko tayari kutumia hoja moja ya SQL.