CSV na Parquet-omskakelaar
CSV is maklik om te skep, maar stadig om te bevraagteken. Laai 'n CSV op en kry 'n Apache Parquet-lêer met 'n kolomtipe vir elke veld, saamgepers en gereed vir die analise-instrument waarin u dit laai.
Data-omskakelaar
of los CSV, TSV, TXT …-lêers hier ·
Maks. 95 MB per lêer· Tot 20 lêers· Uitgevee na 30 minute
Lêers word op ons bedieners verwerk en na 30 minute uitgevee.
Karakter wat kolomme in CSV- en tekslêers skei, vir lees en skryf. Outomaties bespeur dit uit die invoer en skryf kommas.
UTF-8 werk vir elke taal. Kies UTF-8 met BOM as Excel op Windows verwronge aksente of Asiatiese karakters wys wanneer die CSV oopgemaak word.
Excel-, ODS- en Numbers-invoer: skakel slegs die eerste blad om, of elke blad (een CSV per blad in 'n ZIP, of een JSON-sleutel per blad).
Naam van die bladtab in die nuwe sigblad, tot 31 karakters.
Skikking van objekte gebruik kolomname as sleutels vir elke ry; skikking van skikkings is kompakter en hou die opskrif as die eerste skikking.
Naam van die buitenste element wat alle rye omvat; elke ry word 'n <row> daarbinne.
Gebruik in CREATE TABLE- en INSERT-stellings. Slegs letters, syfers en onderstrepe.
Aanhaling en kolomtipes verskil effens tussen databasisse; kies die een waarin jy gaan invoer.
Herskryf datumselle in een formaat. ISO (2026-10-18) is die veiligste vir databasisse en kode; behou laat hulle soos in die bron.
Hoe om hierdie nutsding te gebruik
- 1
Laai die CSV-lêers op
Voeg een uitvoerlêer of tot 20 lêers met dieselfde uitleg by, elk tot 95 MB. Skeidingsteken op Auto-opsporing hanteer kommas, kommapunte, tabs en regop strepe (pipes).
- 2
Behou die opskrif- en datuminstellings
Eerste ry is opskrif maak van die opskrifreël kolomname. Datums staan op ISO, sodat datumkolomme in een konsekwente vorm geskryf word.
- 3
Skakel om na Parquet
Druk Skakel om na Parquet en laai die .parquet-lêer in pandas, DuckDB, Spark of jou datapakhuis.
Waarom dataspanne CSV na Parquet omskakel
Parquet is in 2013 deur ingenieurs by Twitter en Cloudera geskep, gebaseer op die kolomuitleg wat Google in sy Dremel-artikel van 2010 beskryf het, en dit het in 2015 'n topvlak-Apache-projek geword. Die idee is eenvoudig: in plaas daarvan om 'n tabel ry vir ry te stoor soos CSV, stoor dit al die waardes van een kolom saam. 'n Navraag wat drie kolomme uit veertig nodig het, lees net daardie drie, en soortgelyke waardes langs mekaar pers veel beter saam.
Dis hoekom ontleders uitvoerlêers omskakel voordat hulle dit laai, dataingenieurs by verskaffers om Parquet in plaas van CSV vra, en dienste soos Amazon Athena en BigQuery, wat volgens die hoeveelheid deursoekte data kan koste hef, goedkoper word om na te vra. 'n CSV weet ook nie of 0042 'n getal of 'n kode is nie; Parquet teken 'n tipe vir elke kolom aan, sodat die volgende program nie hoef te raai nie.
Parquet vs CSV vs XLSX vir groot tabelle
| Parquet | CSV | XLSX | |
|---|---|---|---|
| Kolomtipes in die lêer gestoor | yes | no | Per sel |
| Lees net die kolomme wat 'n navraag nodig het | yes | no | no |
| Saamgepers | yes | no | yes |
| Leesbaar in 'n teksredigeerder | no | yes | no |
| Maak met 'n dubbelklik in Excel oop | no | yes | yes |
| Rye per lêer | Geen vaste limiet nie | Geen vaste limiet nie | 1 048 576 per blad |
Wat verander wanneer CSV Parquet word
Wat jy wen
- Vinniger navrae wat net die nodige kolomme lees
- Kleiner lêers om te stoor en te skuif
- 'n Skema wat die volgende program lees in plaas van te raai
- Datums een keer in ISO-vorm geskryf
Wat om in gedagte te hou
- Nie in 'n sigblad of teksredigeerder te wysig nie
- 'n Tikfout in 'n numeriese kolom kan die hele kolom in teks verander
- Hou die CSV as mense dit nog moet oopmaak
Feite oor die CSV- en Parquet-formaat
CSV
Kommageskeide waardes
CSV is 'n gewoneteks-formaat vir tabelle waarin elke reël 'n ry is en kommas die kolomme skei. Dit word sedert die vroeë dae van rekenaars gebruik en word in RFC 4180 beskryf, hoewel baie variante kommapunte of tabs en verskillende teksenkoderings gebruik. Byna elke sigblad-, databasis- en analise-nutsmiddel kan dit invoer en uitvoer, wat dit die verstekformaat maak om data tussen stelsels te skuif. CSV stoor net waardes, sonder formules, formatering, veelvuldige blaaie of datatipes.
- Kompressie
- –
- Deursigtigheid
- –
- Animasie
- –
- Bekendgestel
- –
PARQUET
Apache Parquet
Parquet is 'n oopbron-kolomgebaseerde bergingsformaat wat in 2013 deur Twitter en Cloudera geskep is en deur die Apache Software Foundation onderhou word. Dit stoor data per kolom met sterk saampersing en getipeerde skemas, sodat analitiese nutsmiddels net die kolomme lees wat hulle nodig het. Dit is standaard in datameere en nutsmiddels soos Spark, pandas, DuckDB, BigQuery en Snowflake. Parquet-lêers is binêr en kan nie in 'n teksredigeerder of gewone sigblad-toepassing oopgemaak word nie.
- Kompressie
- Verliesloos
- Deursigtigheid
- –
- Animasie
- –
- Bekendgestel
- 2013 · Apache Software Foundation (from Twitter and Cloudera)
CSV word Parquet wanneer 'n lêer ophou om iets te wees wat mense oopmaak en iets word wat navrae deursoek: 'n daaglikse uitvoer wat in 'n datameer beland, 'n datastel wat met ontleders gedeel word, of logboeke wat per paar kolomme gefiltreer word.
Maak die CSV skoon voordat jy omskakel eerder as daarna: regstel die opskrifname, verwyder opsommingsreëls onder aan en maak seker elke kolom bevat een soort waarde. As die bron 'n databasisrugsteun eerder as 'n CSV is, begin met SQL na CSV. Elke ander teiken, van JSON tot SQL, is op die data-omskakelaar-bladsy.
Vrae oor CSV na Parquet
Hoeveel kleiner sal die Parquet-lêer as my CSV wees?
Dit hang van die data af. Kolomme met baie herhaalde waardes, soos landkodes, statusse of datums, pers baie goed saam, terwyl kolomme met unieke ID's of vrye teks minder krimp. 'n Parquet-lêer is gewoonlik 'n fraksie van die CSV se grootte, maar daar is geen vaste verhouding wat die moeite werd is om te beloof nie.
Watter gereedskap lees die omgeskakelde .parquet-lêer?
pandas met read_parquet, Polars, DuckDB met 'n gewone SELECT op die lêernaam, Apache Spark, en wolkpakhuise soos BigQuery, Snowflake, Amazon Athena en Redshift Spectrum. Die meeste van hulle kan ook 'n gids met Parquet-lêers wat dieselfde kolomme het as een tabel navraag doen.
Hoe word kolomtipes bepaal?
Uit die waardes in elke kolom: heelgetalle, desimale, datums en waar-of-vals-waardes kry ooreenstemmende tipes, en 'n kolom met gemengde inhoud bly teks. Gaan kodes met voorloopnulle, soos poskodes soos 02134, ná die omskakeling na, en hou hulle as teks as die nul moet bly.
Kan ek verskeie CSV-lêers met dieselfde uitleg omskakel?
Ja, tot 20 in een bondel, en elkeen word sy eie .parquet-lêer. Sit hulle in een gids en DuckDB of Spark kan hulle saam lees met 'n jokerteken soos sales_*.parquet.
Hoe kyk ek sonder kode binne-in 'n Parquet-lêer?
Excel en Google Sheets kan nie .parquet met 'n dubbelklik oopmaak nie. Skakel dit terug na rye met Parquet na CSV, of gebruik DuckDB se opdragreël as jy gemaklik is met een SQL-navraag.