CSV Parquet bihurgailua
CSV erraz sortzen da, baina kontsultatzeko motela da. Igo CSV bat eta Apache Parquet fitxategi bat jasoko duzu: eremu bakoitzak bere zutabe-mota du, konprimituta dago eta kargatzen duzun analitika-tresnarako prest.
Datu-bihurtzailea
edo jaregin CSV, TSV, TXT … fitxategiak hemen ·
Gehienez 95 MB fitxategiko· 20 fitxategi arte· 30 minutu geroago ezabatzen da
Fitxategiak gure zerbitzarietan prozesatzen dira eta 30 minutu geroago ezabatzen dira.
CSV eta testu-fitxategietan zutabeak bereizten dituen karakterea, irakurtzeko zein idazteko. Automatikoak sarreratik detektatzen du eta komak idazten ditu.
UTF-8 hizkuntza guztietarako balio du. Aukeratu UTF-8 BOM-ekin Windowsko Excelek azentu edo karaktere asiarrak gaizki erakusten baditu CSV-a irekitzean.
Excel, ODS eta Numbers sarrera: bihurtu lehen orria soilik edo orri guztiak (CSV bat orriko ZIP batean, edo JSON gako bat orriko).
Kalkulu-orri berriko orri-fitxaren izena, gehienez 31 karaktere.
Objektuen arrayak zutabe-izenak erabiltzen ditu gako gisa errenkada bakoitzean; arrayen arrayak trinkoagoa da eta goiburua lehen array gisa gordetzen du.
Errenkada guztiak biltzen dituen kanpoko elementuaren izena; errenkada bakoitza <row> bihurtzen da barruan.
CREATE TABLE eta INSERT sententzietan erabiltzen da. Letrak, zifrak eta azpimarrak soilik.
Komatxoak eta zutabe-motak apur bat aldatzen dira datu-baseen artean; aukeratu inportatuko duzuna.
Berridatzi data-gelaxkak formatu bakarrean. ISO (2026-10-18) da seguruena datu-baseetarako eta kodetarako; mantendu aukerak iturburuan bezala uzten ditu.
Tresna hau nola erabili
- 1
Igo CSV fitxategiak
Gehitu esportazio bat edo diseinu bereko gehienez 20 fitxategi, bakoitza 95 MB arte. Bereizlea aukera Auto detect moduan dagoenean, komak, puntu eta komak, tabulazioak eta barra bertikalak ezagutzen ditu.
- 2
Mantendu goiburuaren eta daten ezarpenak
Lehen errenkada goiburua da aukerak goiburuko lerroa zutabe-izen bihurtzen du. Datak ISO moduan dago, data-zutabeak forma bakar eta koherentean idatz daitezen.
- 3
Bihurtu Parquet formatura
Sakatu Bihurtu honetara Parquet eta kargatu .parquet fitxategia pandas, DuckDB, Spark edo zure data-biltegian.
Zergatik bihurtzen dute datu-taldeek CSV Parquet formatura
Parquet 2013an sortu zuten Twitter eta Cloudera-ko ingeniariek, Google-k 2010eko Dremel artikuluan deskribatutako zutabe-diseinuan oinarrituta, eta 2015ean Apache goi-mailako proiektu bihurtu zen. Ideia sinplea da: taula errenkadaka gorde beharrean, CSVk egiten duen bezala, zutabe bateko balio guztiak elkarrekin gordetzen ditu. Berrogei zutabetatik hiru behar dituen kontsulta batek hiru horiek bakarrik irakurtzen ditu, eta elkarren ondoan dauden balio antzekoak askoz hobeto konprimitzen dira.
Horregatik bihurtzen dituzte analistek esportazioak kargatu aurretik, eskatzen diete datu-ingeniariek hornitzaileei CSV beharrean Parquet, eta merkeagoak bihurtzen dira Amazon Athena eta BigQuery bezalako zerbitzuetan kontsultak, eskaneatutako datu-kopuruaren arabera kobra baitezakete. Gainera, CSVk ez daki 0042 zenbaki bat edo kode bat den; Parquetek mota bat gordetzen du zutabe bakoitzerako, hurrengo tresnak asmatu behar ez izateko.
Parquet, CSV eta XLSX taula handietarako
| Parquet | CSV | XLSX | |
|---|---|---|---|
| Zutabe-motak fitxategian gordeta | yes | no | Gelaxka bakoitzeko |
| Kontsultak behar dituen zutabeak bakarrik irakurtzen ditu | yes | no | no |
| Konprimatuta | yes | no | yes |
| Testu-editore batean irakur daiteke | no | yes | no |
| Excel-en klik bikoitzaz irekitzen da | no | yes | yes |
| Errenkadak fitxategiko | Mugarik gabe | Mugarik gabe | 1.048.576 orriko |
Zer aldatzen da CSV Parquet bihurtzean
Zer irabazten duzun
- Kontsulta azkarragoak, behar diren zutabeak bakarrik irakurtzen dituztenak
- Gordetzeko eta mugitzeko fitxategi txikiagoak
- Hurrengo tresnak asmatu beharrean irakurtzen duen eskema
- Datak behin ISO formatuan idatzita
Kontuan hartzekoak
- Ezin da kalkulu-orri edo testu-editore batean editatu
- Zenbakizko zutabe bateko akats batek zutabe osoa testu bihur dezake
- Gorde CSVa jendeak oraindik ireki behar badu
CSV eta Parquet formatuei buruzko datuak
CSV
Komaz bereizitako balioak
CSV taulak gordetzeko testu soileko formatu bat da, non lerro bakoitza errenkada bat den eta komek zutabeak bereizten dituzten. Informatikaren hasieratik erabili da eta RFC 4180n deskribatuta dago, nahiz eta aldaera askok puntu eta komak edo tabulazioak eta testu-kodeketa desberdinak erabili. Ia kalkulu-orri, datu-base eta analisi tresna guztiek inporta eta esporta dezakete, eta horrek sistemen artean datuak mugitzeko formatu lehenetsia bihurtzen du. CSVk balioak soilik gordetzen ditu: formularik, formaturik, orri anitzik edo datu motarik gabe.
- Konpresioa
- –
- Gardentasuna
- –
- Animazioa
- –
- Sorrera urtea
- –
PARQUET
Apache Parquet
Parquet iturburu irekiko zutabe bidezko biltegiratze-formatua da; Twitterrek eta Clouderak sortu zuten 2013an eta Apache Software Foundation-ek mantentzen du. Datuak zutabeka gordetzen ditu, konpresio sendoarekin eta eskema tipatuekin, eta horrela analisi-tresnek behar dituzten zutabeak soilik irakur ditzakete. Estandarra da data lake-etan eta Spark, pandas, DuckDB, BigQuery eta Snowflake bezalako tresnetan. Parquet fitxategiak bitarrak dira eta ezin dira testu-editore batean edo kalkulu-orri aplikazio arruntean ireki.
- Konpresioa
- Galerarik gabe
- Gardentasuna
- –
- Animazioa
- –
- Sorrera urtea
- 2013 · Apache Software Foundation (from Twitter and Cloudera)
CSV Parquet bihurtzen da fitxategia jendeak irekitzen duen zerbait izatetik kontsultek eskaneatzen duten zerbait izatera pasatzen denean: datu-lakuan sartzen den eguneroko esportazioa, analistekin partekatutako datu-multzoa edo aldi berean zutabe gutxi batzuen arabera iragazten diren erregistroak.
Garbitu CSVa bihurtu aurretik, ez ondoren: konpondu goiburuen izenak, kendu amaierako laburpen-lerroak eta ziurtatu zutabe bakoitzak balio-mota bakarra duela. Iturria CSV bat ez bada, datu-base baten babeskopia baizik, hasi SQL CSV bihurtu erabiliz. Gainerako helburu guztiak, JSONetik SQLra, datu bihurgailua orrian daude.
CSV Parquet bihurtzeari buruzko galderak
Zenbat txikiagoa izango da Parquet fitxategia nire CSVa baino?
Datuen araberakoa da. Balio errepikatu askoko zutabeak, adibidez herrialde-kodeak, egoerak edo datak, oso ondo konprimitzen dira; ID bakarreko edo testu libreko zutabeek, berriz, gutxiago txikitzen dira. Parquet fitxategia CSVaren tamainaren zati bat izan ohi da, baina ez dago agintzeko moduko erlazio finkorik.
Zein tresnek irakurtzen dute bihurtutako .parquet fitxategia?
pandas read_parquet funtzioarekin, Polars, DuckDB fitxategi-izenaren gaineko SELECT soil batekin, Apache Spark eta hodeiko biltegiak, hala nola BigQuery, Snowflake, Amazon Athena eta Redshift Spectrum. Gehienek zutabe berdineko Parquet fitxategien karpeta bat taula bakar gisa kontsultatu dezakete.
Nola erabakitzen dira zutabe-motak?
Zutabe bakoitzeko balioetatik: zenbaki osoek, hamartarrek, datek eta egia edo gezurrezko balioek mota egokia hartzen dute, eta eduki nahasia duen zutabeak testu izaten jarraitzen du. Bihurtu ondoren, egiaztatu zero aurretiazkoak dituzten kodeak, adibidez 02134 bezalako ZIP kodeak, eta gorde testu gisa zeroa mantendu behar badute.
Egitura bereko hainbat CSV fitxategi bihur ditzaket?
Bai, gehienez 20 lote batean, eta bakoitza .parquet fitxategi independente bihurtzen da. Jarri karpeta berean eta DuckDB edo Spark-ek batera irakurri ditzake sales_*.parquet bezalako komodin batekin.
Nola ikus dezaket Parquet fitxategi baten edukia koderik gabe?
Excel eta Google Sheets-ek ezin dute .parquet klik bikoitzaz ireki. Bihurtu berriro errenkada gisa Parquet CSV bihurtu erabiliz, edo erabili DuckDB-ren komando-lerroa SQL kontsulta bat egitea zailegi ez bazaizu.