Umbreyta CSV í Parquet
Auðvelt er að búa til CSV en hægt að keyra fyrirspurnir á það. Hladdu upp CSV-skrá og fáðu Apache Parquet-skrá með dálkategund fyrir hvert svið, þjappaða og tilbúna fyrir greiningartólið sem þú hleður henni inn í.
Gagnaumbreyting
eða slepptu CSV, TSV, TXT … skrár hér ·
Að hámarki 95 MB á skrá· Allt að 20 skrár· Eytt eftir 30 mínútur
Skrár eru unnar á þjónum okkar og eytt eftir 30 mínútur.
Tákn sem aðgreinir dálka í CSV- og textaskrám, bæði við lestur og ritun. Sjálfvirkt greinir það úr inntakinu og skrifar kommur.
UTF-8 virkar fyrir öll tungumál. Veldu UTF-8 með BOM ef Excel á Windows sýnir bjagaða broddstafi eða asíska stafi þegar CSV-skráin er opnuð.
Inntak úr Excel, ODS og Numbers: umbreyta aðeins fyrsta blaði eða öllum blöðum (ein CSV-skrá á blað í ZIP, eða einn JSON-lykill á blað).
Heiti blaðflipans í nýja töflureikninum, allt að 31 stafur.
Fylki af hlutum notar dálkaheiti sem lykla fyrir hverja línu; fylki af fylkjum er þéttara og geymir fyrirsögnina sem fyrsta fylkið.
Heiti ytri þáttarins sem umlykur allar línur; hver lína verður <row> innan hans.
Notað í CREATE TABLE og INSERT skipunum. Aðeins bókstafir, tölustafir og undirstrik.
Gæsalappir og dálkagerðir eru örlítið ólíkar milli gagnagrunna; veldu þann sem þú flytur inn í.
Endurskrifar dagsetningarreiti á einu sniði. ISO (2026-10-18) er öruggast fyrir gagnagrunna og kóða; „halda“ skilur þá eftir eins og þeir eru í upprunanum.
Hvernig á að nota tólið
- 1
Hladdu upp CSV-skránum
Bættu við einni útflutningsskrá eða allt að 20 skrám með sömu uppbyggingu, hver allt að 95 MB. Ef Skiltákn er stillt á sjálfvirka greiningu ræður það við kommur, semíkommur, tabstopp og lóðrétt strik.
- 2
Haltu stillingum fyrir haus og dagsetningar
Fyrsta röð er fyrirsögn breytir fyrirsagnarlínunni í heiti dálka. Dagsetningar er stillt á ISO, svo dagsetningardálkar eru skrifaðir á einu samræmdu sniði.
- 3
Umbreyttu í Parquet
Ýttu á Umbreyta í Parquet og hladdu .parquet skránni inn í pandas, DuckDB, Spark eða gagnavöruhúsið þitt.
Af hverju gagnateymi umbreyta CSV í Parquet
Parquet var þróað árið 2013 af verkfræðingum hjá Twitter og Cloudera, byggt á dálkauppbyggingunni sem Google lýsti í Dremel-greininni 2010, og varð æðstastigsverkefni hjá Apache árið 2015. Hugmyndin er einföld: í stað þess að geyma töflu röð fyrir röð eins og CSV gerir eru öll gildi eins dálks geymd saman. Fyrirspurn sem þarf þrjá dálka af fjörutíu les aðeins þá þrjá, og svipuð gildi hlið við hlið þjappast mun betur.
Þess vegna umbreyta greinendur útflutningi áður en hann er hlaðinn inn, gagnaverkfræðingar biðja birgja um Parquet í stað CSV, og þjónusta eins og Amazon Athena og BigQuery, sem getur rukkað eftir magni skannaðra gagna, verður ódýrari í notkun. CSV veit heldur ekki hvort 0042 er tala eða kóði; Parquet skráir gagnagerð fyrir hvern dálk, svo næsta tól þarf ekki að giska.
Parquet, CSV eða XLSX fyrir stórar töflur
| Parquet | CSV | XLSX | |
|---|---|---|---|
| Gagnagerðir dálka vistaðar í skránni | yes | no | Fyrir hverja reit |
| Les aðeins dálkana sem fyrirspurn þarf | yes | no | no |
| Þjappað | yes | no | yes |
| Læsilegt í textaritli | no | yes | no |
| Opnast í Excel með tvísmelli | no | yes | yes |
| Raðir í hverri skrá | Engin föst mörk | Engin föst mörk | 1.048.576 á blað |
Hvað breytist þegar CSV verður að Parquet
Hvað þú færð
- Hraðari fyrirspurnir sem lesa aðeins nauðsynlega dálka
- Minni skrár til að geyma og flytja
- Gagnaskema sem næsta tól les í stað þess að giska
- Dagsetningar skrifaðar einu sinni á ISO-formi
Hvað ber að hafa í huga
- Ekki hægt að breyta í töflureikni eða textaritli
- Innsláttarvilla í tölulegum dálki getur breytt öllum dálkinum í texta
- Geymdu CSV-skrána ef fólk þarf enn að opna hana
Staðreyndir um CSV- og Parquet-sniðin
CSV
Gildi aðskilin með kommum
CSV er hreint textasnið fyrir töflur þar sem hver lína er röð og kommur aðgreina dálka. Það hefur verið notað frá árdögum tölvunnar og er lýst í RFC 4180, þó mörg afbrigði noti semíkommur eða tab og mismunandi stafakóðun. Nánast öll töflureiknar-, gagnagrunns- og greiningarforrit geta flutt það inn og út, sem gerir það að sjálfgefnu sniði til að flytja gögn milli kerfa. CSV geymir aðeins gildi, án formúla, sniðs, margra blaða eða gagnagerða.
- Þjöppun
- –
- Gegnsæi
- –
- Hreyfimynd
- –
- Kom fram
- –
PARQUET
Apache Parquet
Parquet er opið dálkamiðað geymslusnið sem Twitter og Cloudera bjuggu til árið 2013 og Apache Software Foundation sér um. Það geymir gögn eftir dálkum með öflugri þjöppun og gerðum skemum, svo greiningartól geta lesið aðeins þá dálka sem þau þurfa. Það er staðall í gagnavötnum og tólum eins og Spark, pandas, DuckDB, BigQuery og Snowflake. Parquet-skrár eru tvíundarskrár og er ekki hægt að opna í textaritli eða venjulegu töflureikniforriti.
- Þjöppun
- Án taps
- Gegnsæi
- –
- Hreyfimynd
- –
- Kom fram
- 2013 · Apache Software Foundation (from Twitter and Cloudera)
CSV verður að Parquet þegar skrá hættir að vera eitthvað sem fólk opnar og verður eitthvað sem fyrirspurnir skanna: daglegur útflutningur sem lendir í gagnavatni, gagnasafn sem deilt er með greinendum eða annálar sem eru síaðir eftir fáeinum dálkum í einu.
Hreinsaðu CSV-skrána áður en þú umbreytir henni frekar en eftir á: lagfærðu heiti fyrirsagna, fjarlægðu samantektarlínur neðst og gættu þess að hver dálkur geymi eina tegund gilda. Ef upprunin er afrit úr gagnagrunni frekar en CSV skaltu byrja á SQL í CSV. Öll önnur snið, frá JSON til SQL, eru á síðunni gagnabreytir.
Spurningar um CSV í Parquet
Hversu miklu minni verður Parquet-skráin en CSV-skráin?
Það fer eftir gögnunum. Dálkar með mörgum endurteknum gildum, til dæmis landakóðum, stöðum eða dagsetningum, þjappast mjög vel, en dálkar með einkvæmum auðkennum eða frjálsum texta minnka minna. Parquet-skrá er yfirleitt brot af stærð CSV-skrárinnar, en ekkert fast hlutfall er hægt að lofa.
Hvaða tól lesa umbreyttu .parquet-skrána?
pandas með read_parquet, Polars, DuckDB með einfaldri SELECT-fyrirspurn á skráarnafnið, Apache Spark og skýjagagnavöruhús eins og BigQuery, Snowflake, Amazon Athena og Redshift Spectrum. Flest þeirra geta einnig fyrirspurt möppu með Parquet-skrám með sömu dálkum sem eina töflu.
Hvernig eru dálkategundir ákvarðaðar?
Út frá gildunum í hverjum dálki: heiltölur, tugatölur, dagsetningar og gildin satt eða ósatt fá viðeigandi gagnagerð, og dálkur með blönduðu efni helst texti. Athugaðu eftir umbreytingu kóða með núlli fremst, til dæmis póstnúmer eins og 02134, og haltu þeim sem texta ef núllið á að haldast.
Get ég umbreytt mörgum CSV-skrám með sömu uppsetningu?
Já, allt að 20 í einu, og hver þeirra verður að sérstakri .parquet skrá. Settu þær í eina möppu og DuckDB eða Spark geta lesið þær saman með jókerstákni eins og sales_*.parquet.
Hvernig skoða ég innihald Parquet-skrár án kóða?
Excel og Google Sheets geta ekki opnað .parquet með tvísmelli. Breyttu skránni aftur í raðir með Parquet í CSV eða notaðu skipanalínu DuckDB ef þú ert sátt(ur) við eina SQL-fyrirspurn.