Convertor CSV în Parquet
Un CSV se generează ușor, dar se interoghează lent. Încărcați un CSV și primiți un fișier Apache Parquet cu un tip de coloană pentru fiecare câmp, comprimat și gata pentru instrumentul de analiză în care îl încărcați.
Convertor de date
sau trage Fișiere CSV, TSV, TXT … aici ·
Maximum 95 MB per fișier· Până la 20 fișiere· Șterse după 30 minute
Fișierele sunt procesate pe serverele noastre și șterse după 30 minute.
Caracterul care separă coloanele în fișierele CSV și text, atât la citire, cât și la scriere. Automat îl detectează din fișierul de intrare și scrie virgule.
UTF-8 funcționează pentru toate limbile. Alegeți UTF-8 cu BOM dacă Excel pe Windows afișează incorect diacriticele sau caracterele asiatice la deschiderea CSV-ului.
Pentru fișiere Excel, ODS și Numbers: convertiți doar prima foaie sau toate foile (un CSV per foaie într-un ZIP sau o cheie JSON per foaie).
Numele filei din noul registru de calcul, maximum 31 de caractere.
Matrice de obiecte folosește numele coloanelor drept chei pentru fiecare rând; matricea de matrice este mai compactă și păstrează antetul ca prim element.
Numele elementului exterior care include toate rândurile; fiecare rând devine un <row> în interiorul lui.
Folosit în instrucțiunile CREATE TABLE și INSERT. Doar litere, cifre și liniuțe de subliniere.
Ghilimelele și tipurile de coloane diferă ușor între baze de date; alegeți-o pe cea în care veți importa.
Rescrie celulele cu date într-un singur format. ISO (2026-10-18) este cel mai sigur pentru baze de date și cod; Păstrare le lasă așa cum apar în sursă.
Cum se folosește acest instrument
- 1
Încărcați fișierele CSV
Adăugați un export sau până la 20 de fișiere cu aceeași structură, fiecare de maximum 95 MB. Delimitator pe Auto detect recunoaște virgulele, punctele și virgulele, tabulatorii și bara verticală.
- 2
Păstrați setările pentru antet și date calendaristice
Primul rând este antet transformă linia de antet în nume de coloane. Date calendaristice este setat pe ISO, deci coloanele cu date se scriu într-o formă unitară.
- 3
Convertiți în Parquet
Apăsați Convertește în Parquet și încărcați fișierul .parquet în pandas, DuckDB, Spark sau în data warehouse-ul dumneavoastră.
De ce convertesc echipele de date CSV în Parquet
Parquet a fost creat în 2013 de ingineri de la Twitter și Cloudera, pornind de la structura pe coloane descrisă de Google în lucrarea Dremel din 2010, și a devenit proiect Apache de nivel superior în 2015. Ideea este simplă: în loc să stocheze un tabel rând cu rând, ca CSV, stochează laolaltă toate valorile unei coloane. O interogare care are nevoie de trei coloane din patruzeci citește doar acele trei, iar valorile asemănătoare aflate alături se comprimă mult mai bine.
De aceea analiștii convertesc exporturile înainte să le încarce, inginerii de date cer furnizorilor Parquet în loc de CSV, iar serviciile precum Amazon Athena și BigQuery, care pot taxa după volumul de date scanate, devin mai ieftine de interogat. Un CSV nu știe dacă 0042 este un număr sau un cod; Parquet înregistrează un tip pentru fiecare coloană, așa că următorul instrument nu trebuie să ghicească.
Parquet, CSV sau XLSX pentru tabele mari
| Parquet | CSV | XLSX | |
|---|---|---|---|
| Tipurile coloanelor stocate în fișier | yes | no | Pe celulă |
| Citește doar coloanele de care are nevoie interogarea | yes | no | no |
| Comprimat | yes | no | yes |
| Poate fi citit într-un editor de text | no | yes | no |
| Se deschide în Excel cu dublu clic | no | yes | yes |
| Rânduri per fișier | Fără limită fixă | Fără limită fixă | 1.048.576 per foaie |
Ce se schimbă când CSV devine Parquet
Ce câștigați
- Interogări mai rapide, care citesc doar coloanele necesare
- Fișiere mai mici de stocat și de mutat
- O schemă pe care următorul instrument o citește, fără să ghicească
- Date calendaristice scrise o singură dată în formă ISO
Ce trebuie să știți
- Nu poate fi editat într-un program de calcul tabelar sau editor de text
- O greșeală de tastare într-o coloană numerică poate transforma întreaga coloană în text
- Păstrați CSV-ul dacă oamenii mai trebuie să-l deschidă
Date despre formatele CSV și Parquet
CSV
Valori separate prin virgulă
CSV este un format text simplu pentru tabele, în care fiecare linie este un rând, iar virgulele separă coloanele. Este folosit încă din primele zile ale informaticii și este descris în RFC 4180, deși multe variante folosesc punct și virgulă sau tabulatori și codificări diferite ale textului. Aproape orice program de calcul tabelar, bază de date sau instrument de analiză îl poate importa și exporta, ceea ce îl face formatul implicit pentru mutarea datelor între sisteme. CSV stochează doar valori, fără formule, formatare, foi multiple sau tipuri de date.
- Compresie
- –
- Transparență
- –
- Animație
- –
- Introdus în
- –
PARQUET
Apache Parquet
Parquet este un format de stocare columnar open-source, creat de Twitter și Cloudera în 2013 și întreținut de Apache Software Foundation. Stochează datele pe coloane, cu compresie puternică și scheme tipizate, astfel încât instrumentele de analiză pot citi doar coloanele de care au nevoie. Este standard în data lake-uri și în instrumente precum Spark, pandas, DuckDB, BigQuery și Snowflake. Fișierele Parquet sunt binare și nu pot fi deschise într-un editor de text sau într-o aplicație obișnuită de calcul tabelar.
- Compresie
- Fără pierderi
- Transparență
- –
- Animație
- –
- Introdus în
- 2013 · Apache Software Foundation (from Twitter and Cloudera)
CSV devine Parquet atunci când un fișier nu mai este ceva ce oamenii deschid și devine ceva ce interogările parcurg: un export zilnic ajuns într-un data lake, un set de date partajat cu analiștii sau jurnale filtrate după câteva coloane odată.
Curățați CSV-ul înainte de conversie, nu după: corectați numele din antet, eliminați rândurile de total de la final și asigurați-vă că fiecare coloană conține un singur fel de valori. Dacă sursa este o copie de siguranță a unei baze de date, nu un CSV, începeți cu SQL în CSV. Toate celelalte formate, de la JSON la SQL, se găsesc pe pagina convertor date.
Întrebări despre conversia CSV în Parquet
Cu cât va fi mai mic fișierul Parquet decât CSV-ul meu?
Depinde de date. Coloanele cu multe valori repetate, precum codurile de țară, stările sau datele calendaristice, se comprimă foarte bine, în timp ce coloanele cu ID-uri unice sau text liber se micșorează mai puțin. Un fișier Parquet are de obicei doar o fracțiune din mărimea CSV-ului, dar nu există un raport fix pe care să-l promitem.
Ce instrumente pot citi fișierul .parquet convertit?
pandas cu read_parquet, Polars, DuckDB cu un simplu SELECT pe numele fișierului, Apache Spark și data warehouse-uri în cloud precum BigQuery, Snowflake, Amazon Athena și Redshift Spectrum. Majoritatea pot interoga și un folder de fișiere Parquet cu aceleași coloane ca pe un singur tabel.
Cum se stabilesc tipurile coloanelor?
Din valorile fiecărei coloane: numerele întregi, zecimalele, datele calendaristice și valorile adevărat sau fals primesc tipuri potrivite, iar o coloană cu conținut mixt rămâne text. După conversie, verificați codurile cu zerouri la început, precum codurile poștale de tipul 02134, și păstrați-le ca text dacă trebuie să-și păstreze zeroul.
Pot converti mai multe fișiere CSV cu aceeași structură?
Da, până la 20 într-un singur lot, iar fiecare devine un fișier .parquet separat. Puneți-le într-un folder, iar DuckDB sau Spark le pot citi împreună cu un wildcard precum sales_*.parquet.
Cum văd conținutul unui fișier Parquet fără cod?
Excel și Google Sheets nu pot deschide .parquet cu dublu clic. Transformați-l înapoi în rânduri cu Parquet în CSV sau folosiți linia de comandă DuckDB, dacă vă descurcați cu o interogare SQL.