UltKit

Parquet CSV bihurgailua

Ireki .parquet fitxategi bat datu-tresnarik instalatu gabe. Barruan gordetako zutabeak CSV errenkada arrunt gisa idazten dira berriro, kalkulu-orri batek, BI tresna batek edo lankide batek berehala ireki ditzan.

Datu-bihurtzailea

edo jaregin CSV, TSV, TXT … fitxategiak hemen ·

Gehienez 95 MB fitxategiko· 20 fitxategi arte· 30 minutu geroago ezabatzen da

Irteera

Fitxategiak gure zerbitzarietan prozesatzen dira eta 30 minutu geroago ezabatzen dira.

Tresna hau nola erabili

  1. 1

    Igo Parquet fitxategiak

    Gehitu .parquet fitxategi bakar bat edo datu-multzo bereko 20 zati-fitxategi arte, bakoitza gehienez 95 MB.

  2. 2

    Egiaztatu datak eta kodeketa

    Datak ISO moduan dago ezarrita, beraz denbora-markak 2026-10-18 bezala agertzen dira, ez zenbaki gordin gisa. Ezarpen aurreratuak atalean, aukeratu Bereizlea gisa Puntu eta koma Excel europarrerako, edo UTF-8 BOM-ekin Testuaren kodeketa atalean.

  3. 3

    Bihurtu CSV formatura

    Sakatu Bihurtu CSV formatura → eta deskargatu. Ireki fitxategia kalkulu-orri batean edo kargatu CSV onartzen duen edozein tokitan.

Nork behar du Parquet CSV formatuan

Parquet 2013an hasi zen Twitter eta Clouderaren proiektu bateratu gisa, Google-ren Dremel artikuluko record-shredding ideietan oinarrituta, eta 2015ean Apache goi-mailako proiektu bihurtu zen. Gaur egun data lake-en biltegiratze-formatu lehenetsia da. BigQuery eta Snowflake-k hara esportatzen dute, Spark-ek lehenespenez hala idazten du, eta Hugging Face Hub-ek datu-multzo publikoak automatikoki horra bihurtzen ditu.

Hori bikaina da ingeniarientzat eta deserosoa gainerako guztientzat. .parquet fitxategi bat jasotzen duen produktu-kudeatzaileak, datu-multzo bat deskargatzen duen ikertzaileak edo biltegi-erauzketa bat jasotzen duen kontulariak normalean ez du hura irekitzen duen tresnarik. CSV da kalkulu-orri eta inportatzaile guztiek irakurtzen duten izendatzaile komun txikiena. Datuak jasotzen dituztenek lan-liburu formatua nahiago badute, bihurtu CSV CSV XLSX bihurtu erabiliz.

Parquet vs CSV: zutabeak diskoan versus testu-errenkadak

Iturria

Parquet

Bitarra, zutabeka, eskema fitxategiaren amaieran gordeta.

  • Balio tipatuak: int64, decimal, timestamp, boolean
  • Egitura eta zerrenda habiaratuak
  • Zutabeka konprimatua, hautaketaz irakurria
Egokiena: Biltegiak, Spark, pandas eta DuckDB
Irteera

CSV

Testu soila, erregistro bat lerroko, balioak komaz bereizita RFC 4180-k deskribatzen duen bezala.

  • Balio guztiak testua dira
  • Lautua: balio bat gelaxkako
  • Edozein kalkulu-orritan edo editorean irekitzen da
Egokiena: Pertsonak, kalkulu-orriak eta inportazio-pantailak
from ↓ · to →CSVXLSXJSONParquet
ParquetParquet to CSV: yesParquet to XLSX: yesParquet to JSON: yes– Parquet to Parquet: no
CSV– CSV to CSV: noCSV to XLSX: yesCSV to JSON: yesCSV to Parquet: yes
JSONJSON to CSV: yesJSON to XLSX: yes– JSON to JSON: noJSON to Parquet: yes
supported not offeredZerrendatutako bikote guztiak datu-bihurgailuan exekutatzen dira; gidoiak formatu bera sarreran eta irteeran adierazten du.

Zer aldatzen da Parquet fitxategi bat CSV bihurtzean

Motak dira lehen galera. decimal(18,2) kopuru bat, int64 ID bat eta UTC denbora-marka bat karaktere bihurtzen dira, eta CSV irekitzen duenak erabakitzen du nola irakurri berriro. Excel-ek, adibidez, 15 zifra esanguratsu soilik erakusten ditu; beraz, biltegiko 19 zifrako IDak testu gisa inportatu behar dira, ez klik bikoitzarekin ireki. Null eta kate hutsaren arteko aldea ere desagertzen da, biak eremu huts gisa idazten baitira.

Tamaina da bigarrena. Zutabeen konpresioa da Parquet fitxategiak txikiak izatearen arrazoia; testu soilak ez du, beraz CSV handitu egiten da. Excel-eko orri batek 1.048.576 errenkada ditu, eta taula handiek erraz gainditzen dute hori; beraz, egiaztatu errenkada kopurua fitxategia kalkulu-orri erabiltzaile bati bidali aurretik. Beste helburu batzuk, SQL-tik JSON-era, Datu bihurgailua orrian daude.

Apache Parquet eta CSV formatuei buruzko datuak

PARQUET

Apache Parquet

Parquet iturburu irekiko zutabe bidezko biltegiratze-formatua da; Twitterrek eta Clouderak sortu zuten 2013an eta Apache Software Foundation-ek mantentzen du. Datuak zutabeka gordetzen ditu, konpresio sendoarekin eta eskema tipatuekin, eta horrela analisi-tresnek behar dituzten zutabeak soilik irakur ditzakete. Estandarra da data lake-etan eta Spark, pandas, DuckDB, BigQuery eta Snowflake bezalako tresnetan. Parquet fitxategiak bitarrak dira eta ezin dira testu-editore batean edo kalkulu-orri aplikazio arruntean ireki.

Konpresioa
Galerarik gabe
Gardentasuna
–
Animazioa
–
Sorrera urtea
2013 · Apache Software Foundation (from Twitter and Cloudera)
PARQUET bihurtzailea

CSV

Komaz bereizitako balioak

CSV taulak gordetzeko testu soileko formatu bat da, non lerro bakoitza errenkada bat den eta komek zutabeak bereizten dituzten. Informatikaren hasieratik erabili da eta RFC 4180n deskribatuta dago, nahiz eta aldaera askok puntu eta komak edo tabulazioak eta testu-kodeketa desberdinak erabili. Ia kalkulu-orri, datu-base eta analisi tresna guztiek inporta eta esporta dezakete, eta horrek sistemen artean datuak mugitzeko formatu lehenetsia bihurtzen du. CSVk balioak soilik gordetzen ditu: formularik, formaturik, orri anitzik edo datu motarik gabe.

Konpresioa
–
Gardentasuna
–
Animazioa
–
Sorrera urtea
–
CSV bihurtzailea

Parquet CSV bihurtzen da datuak ingeniaritzatik kanpo irteten direnean: BigQuery-ko esportazio bat, Hugging Face-ko datu-multzo bat edo data lake-ko taula bat analista batengana, finantza-talde batengana edo testu-errenkadak soilik irakurtzen dituen tresna batengana iritsi behar da.

Parquet CSV bihurtzeari buruzko galderak

Nola ireki Parquet fitxategi bat Python gabe?

Bihurtu hemen eta ireki CSV fitxategia. Excel, Numbers eta Google Sheets-ek ezin dute .parquet irakurri klik bikoitzarekin, eta ohiko alternatibak, hala nola pandas, Spark edo DuckDB komando-lerroa, kodea instalatzen eta exekutatzen eroso zaudela suposatzen dute.

Zergatik da CSVa Parquet fitxategia baino askoz handiagoa?

Parquet-ek zutabe bakoitza batera gordetzen du, errepikatutako balioak behin kodetzen ditu hiztegi batean eta emaitza konprimatzen du, normalean Snappy edo Zstandard erabiliz. CSV-k balio bakoitza osorik idazten du testu gisa lerro guztietan. Normala da CSV bat bere Parquet iturria baino hainbat aldiz handiagoa izatea; beraz, utzi tokia diskoan eta egiaztatu errenkada kopurua Excel-en ireki aurretik.

Zer gertatzen da struct eta list zutabe habiaratuekin?

Egitura bat (struct) zutabe gehigarritan zabaltzen da, puntuz osatutako izenekin, adibidez address.city. Zerrenda bat gelaxka bakarrean geratzen da JSON testu gisa, CSV errenkada batek ezin baitu erregistroko gelaxka kopuru desberdina izan.

Nire Spark lanak part fitxategiz betetako karpeta bat sortu du. Zein igo behar dut?

Guztiak. Spark, Hive eta antzeko motorrek datu-multzo bat part-00000.parquet bezalako izenak dituzten fitxategitan zatitzen dute, bakoitza eskema bereko Parquet fitxategi osoa izanik. Igo 20 arte batera eta zati bakoitzeko CSV bat jasoko duzu, gero konbinatu ditzakezunak.

CSVa editatu ondoren, Parquet bihurtu dezaket berriro?

Bai, CSV Parquet bihurtu erabiliz. Zutabeen motak testutik berriro ondorioztatzen dira; beraz, egiaztatu hasierako zeroak dituzten IDak eta zenbaki hamartarrak zure pipeline-ak espero dituen motekin itzultzen direla.