CSV Parquet átalakító
A CSV-t könnyű előállítani, de lassú lekérdezni. Töltsön fel egy CSV-fájlt, és olyan Apache Parquet fájlt kap, amelyben minden mezőnek saját oszloptípusa van, tömörítve és készen arra az elemzőeszközre, amelybe betölti.
Adatkonvertáló
vagy húzza ide a(z) CSV, TSV, TXT … fájlok fájlokat ·
Legfeljebb 95 MB fájlonként· Legfeljebb 20 fájl· Törlés 30 perc után
A fájlokat szervereinken dolgozzuk fel, és 30 perc után töröljük.
Az oszlopokat elválasztó karakter a CSV- és szövegfájlokban, olvasáskor és íráskor is. Az automatikus a bemenetből ismeri fel, íráskor vesszőt használ.
Az UTF-8 minden nyelvhez megfelel. Válassza a BOM-os UTF-8-at, ha a Windowson futó Excel hibásan jeleníti meg az ékezeteket vagy az ázsiai karaktereket a CSV megnyitásakor.
Excel-, ODS- és Numbers-bemenet esetén: csak az első munkalapot alakítja át, vagy mindegyiket (munkalaponként egy CSV egy ZIP-ben, illetve munkalaponként egy JSON-kulcs).
Az új táblázat munkalapfülének neve, legfeljebb 31 karakter.
Az objektumok tömbje minden sorhoz az oszlopneveket használja kulcsként; a tömbök tömbje tömörebb, és a fejlécet az első tömbben tartja.
A külső elem neve, amely az összes sort magába foglalja; minden sorból egy <row> elem lesz benne.
A CREATE TABLE és INSERT utasításokban használatos. Csak betűk, számjegyek és aláhúzásjelek lehetnek benne.
Az idézőjelezés és az oszloptípusok kissé eltérnek az adatbázisok között; válassza azt, amelyikbe importálni fog.
Egységes formátumra írja át a dátumcellákat. Az ISO (2026-10-18) a legbiztonságosabb adatbázisokhoz és kódhoz; a megtartás úgy hagyja őket, ahogy a forrásban szerepelnek.
Az eszköz használata
- 1
Töltse fel a CSV-fájlokat
Adjon hozzá egy exportfájlt vagy legfeljebb 20, azonos felépítésű fájlt, egyenként legfeljebb 95 MB-osat. Az Elválasztó Automatikus felismerés beállításon kezeli a vesszőt, a pontosvesszőt, a tabulátort és a függőleges vonalat.
- 2
Hagyja meg a fejléc- és dátumbeállításokat
Az Az első sor fejléc a fejlécsort oszlopnevekké alakítja. A Dátumok beállítás ISO-n áll, így a dátumoszlopok egységes formában íródnak ki.
- 3
Konvertálás Parquet formátumba
Nyomja meg a Konvertálás erre Parquet gombot, majd töltse be a .parquet fájlt pandasba, DuckDB-be, Sparkba vagy az adattárházába.
Miért alakítják át az adatcsapatok a CSV-t Parquet formátumba
A Parquetet 2013-ban a Twitter és a Cloudera mérnökei hozták létre, a Google 2010-es Dremel-tanulmányában leírt oszlopos elrendezésre építve, és 2015-ben az Apache legfelső szintű projektje lett. Az ötlet egyszerű: a táblát nem soronként tárolja, mint a CSV, hanem egy oszlop összes értékét együtt. Az a lekérdezés, amelynek negyvenből három oszlop kell, csak ezt a hármat olvassa be, és az egymás mellett álló hasonló értékek sokkal jobban tömörödnek.
Ezért alakítják át az elemzők az exportokat betöltés előtt, ezért kérnek az adatmérnökök a beszállítóktól CSV helyett Parquetet, és ezért válik olcsóbbá a lekérdezés az olyan szolgáltatásokban, mint az Amazon Athena és a BigQuery, amelyek a beolvasott adat mennyisége szerint számlázhatnak. A CSV azt sem tudja, hogy a 0042 szám vagy kód; a Parquet minden oszlophoz rögzít egy típust, így a következő eszköznek nem kell találgatnia.
Parquet, CSV és XLSX nagy táblázatokhoz
| Parquet | CSV | XLSX | |
|---|---|---|---|
| Az oszloptípusok a fájlban tárolódnak | yes | no | Cellánként |
| Csak a lekérdezéshez szükséges oszlopokat olvassa | yes | no | no |
| Tömörített | yes | no | yes |
| Szövegszerkesztőben olvasható | no | yes | no |
| Dupla kattintással megnyílik Excelben | no | yes | yes |
| Sorok száma fájlonként | Nincs fix korlát | Nincs fix korlát | 1 048 576 munkalaponként |
Mi változik, amikor a CSV-ből Parquet lesz
Amit nyer vele
- Gyorsabb lekérdezések, amelyek csak a szükséges oszlopokat olvassák
- Kisebb, könnyebben tárolható és mozgatható fájlok
- Séma, amelyet a következő eszköz kiolvas, nem kell találgatnia
- A dátumok egyszer, ISO formában íródnak ki
Amit érdemes észben tartani
- Táblázatkezelőben vagy szövegszerkesztőben nem szerkeszthető
- Egy elütés egy számoszlopban az egész oszlopot szöveggé teheti
- Őrizze meg a CSV-t, ha még meg kell tudni nyitni
Tudnivalók a CSV és a Parquet formátumról
CSV
Vesszővel elválasztott értékek
A CSV egy egyszerű szöveges formátum táblázatokhoz, amelyben minden sor egy rekord, az oszlopokat pedig vesszők választják el. A számítástechnika korai évei óta használják, és az RFC 4180 írja le, bár sok változat pontosvesszőt vagy tabulátort és eltérő szövegkódolást használ. Szinte minden táblázatkezelő, adatbázis és elemzőeszköz tudja importálni és exportálni, ezért ez az alapértelmezett formátum rendszerek közötti adatmozgatáshoz. A CSV csak értékeket tárol, képletek, formázás, több munkalap vagy adattípusok nélkül.
- Tömörítés
- –
- Átlátszóság
- –
- Animáció
- –
- Bevezetés éve
- –
PARQUET
Apache Parquet
A Parquet nyílt forráskódú oszlopalapú tárolóformátum, amelyet a Twitter és a Cloudera hozott létre 2013-ban, és az Apache Software Foundation gondozza. Az adatokat oszloponként tárolja erős tömörítéssel és típusos sémákkal, így az elemzőeszközök csak a szükséges oszlopokat olvassák be. Az adattavakban és az olyan eszközökben, mint a Spark, a pandas, a DuckDB, a BigQuery és a Snowflake, szabványos. A Parquet fájlok binárisak, szövegszerkesztőben vagy hagyományos táblázatkezelőben nem nyithatók meg.
- Tömörítés
- Veszteségmentes
- Átlátszóság
- –
- Animáció
- –
- Bevezetés éve
- 2013 · Apache Software Foundation (from Twitter and Cloudera)
A CSV akkor válik Parquet fájllá, amikor a fájlt már nem emberek nyitják meg, hanem lekérdezések pásztázzák: egy adattóba érkező napi export, az elemzőkkel megosztott adathalmaz vagy olyan naplók, amelyeket egyszerre csak néhány oszlop szerint szűrnek.
A CSV-t konvertálás előtt tisztítsa meg, ne utána: javítsa a fejlécneveket, törölje az alul lévő összegző sorokat, és ügyeljen rá, hogy minden oszlop egyféle értéket tartalmazzon. Ha a forrás nem CSV, hanem adatbázis-mentés, kezdje az SQL CSV-be eszközzel. Az összes többi célformátum, a JSON-tól az SQL-ig, az adatátalakító oldalon található.
Kérdések a CSV Parquet konvertálásról
Mennyivel lesz kisebb a Parquet fájl a CSV-nél?
Az adatoktól függ. Az sok ismétlődő értéket tartalmazó oszlopok, például országkódok, állapotok vagy dátumok nagyon jól tömörödnek, az egyedi azonosítókat vagy szabad szöveget tartalmazó oszlopok kevésbé. A Parquet fájl általában a CSV méretének töredéke, de fix arányt nem érdemes ígérni.
Mely eszközök olvassák a konvertált .parquet fájlt?
A pandas a read_parquet függvénnyel, a Polars, a DuckDB egy egyszerű, a fájlnevet megadó SELECT utasítással, az Apache Spark, valamint felhős adattárházak, például a BigQuery, a Snowflake, az Amazon Athena és a Redshift Spectrum. Legtöbbjük az azonos oszlopokat tartalmazó Parquet fájlok mappáját is egyetlen táblaként tudja lekérdezni.
Hogyan dől el az oszlopok típusa?
Az egyes oszlopok értékeiből: az egész számok, a tizedes törtek, a dátumok és az igaz/hamis értékek megfelelő típust kapnak, a vegyes tartalmú oszlop szöveg marad. Konvertálás után ellenőrizze a vezető nullával kezdődő kódokat, például a 02134-hez hasonló irányítószámokat, és ha a nullának meg kell maradnia, tartsa őket szövegként.
Konvertálhatok több azonos szerkezetű CSV-fájlt?
Igen, egy csomagban legfeljebb 20-at, és mindegyikből külön .parquet fájl lesz. Tegye őket egy mappába, és a DuckDB vagy a Spark egy helyettesítő karakterrel, például sales_*.parquet formában együtt is beolvashatja őket.
Hogyan nézhetek bele egy Parquet fájlba kód nélkül?
Az Excel és a Google Táblázatok nem nyitja meg a .parquet fájlt dupla kattintással. Alakítsa vissza sorokká a Parquet CSV-be eszközzel, vagy használja a DuckDB parancssorát, ha egy SQL-lekérdezés nem okoz gondot.