UltKit

Convertor CSV în Parquet

Un CSV se generează ușor, dar se interoghează lent. Încărcați un CSV și primiți un fișier Apache Parquet cu un tip de coloană pentru fiecare câmp, comprimat și gata pentru instrumentul de analiză în care îl încărcați.

Convertor de date

sau trage Fișiere CSV, TSV, TXT … aici ·

Maximum 95 MB per fișier· Până la 20 fișiere· Șterse după 30 minute

Rezultat

Fișierele sunt procesate pe serverele noastre și șterse după 30 minute.

Cum se folosește acest instrument

  1. 1

    Încărcați fișierele CSV

    Adăugați un export sau până la 20 de fișiere cu aceeași structură, fiecare de maximum 95 MB. Delimitator pe Auto detect recunoaște virgulele, punctele și virgulele, tabulatorii și bara verticală.

  2. 2

    Păstrați setările pentru antet și date calendaristice

    Primul rând este antet transformă linia de antet în nume de coloane. Date calendaristice este setat pe ISO, deci coloanele cu date se scriu într-o formă unitară.

  3. 3

    Convertiți în Parquet

    Apăsați Convertește în Parquet și încărcați fișierul .parquet în pandas, DuckDB, Spark sau în data warehouse-ul dumneavoastră.

De ce convertesc echipele de date CSV în Parquet

Parquet a fost creat în 2013 de ingineri de la Twitter și Cloudera, pornind de la structura pe coloane descrisă de Google în lucrarea Dremel din 2010, și a devenit proiect Apache de nivel superior în 2015. Ideea este simplă: în loc să stocheze un tabel rând cu rând, ca CSV, stochează laolaltă toate valorile unei coloane. O interogare care are nevoie de trei coloane din patruzeci citește doar acele trei, iar valorile asemănătoare aflate alături se comprimă mult mai bine.

De aceea analiștii convertesc exporturile înainte să le încarce, inginerii de date cer furnizorilor Parquet în loc de CSV, iar serviciile precum Amazon Athena și BigQuery, care pot taxa după volumul de date scanate, devin mai ieftine de interogat. Un CSV nu știe dacă 0042 este un număr sau un cod; Parquet înregistrează un tip pentru fiecare coloană, așa că următorul instrument nu trebuie să ghicească.

Parquet, CSV sau XLSX pentru tabele mari

ParquetCSVXLSX
Tipurile coloanelor stocate în fișieryesnoPe celulă
Citește doar coloanele de care are nevoie interogareayesnono
Comprimatyesnoyes
Poate fi citit într-un editor de textnoyesno
Se deschide în Excel cu dublu clicnoyesyes
Rânduri per fișierFără limită fixăFără limită fixă1.048.576 per foaie

Ce se schimbă când CSV devine Parquet

Ce câștigați

  • Interogări mai rapide, care citesc doar coloanele necesare
  • Fișiere mai mici de stocat și de mutat
  • O schemă pe care următorul instrument o citește, fără să ghicească
  • Date calendaristice scrise o singură dată în formă ISO

Ce trebuie să știți

  • Nu poate fi editat într-un program de calcul tabelar sau editor de text
  • O greșeală de tastare într-o coloană numerică poate transforma întreaga coloană în text
  • Păstrați CSV-ul dacă oamenii mai trebuie să-l deschidă

Date despre formatele CSV și Parquet

CSV

Valori separate prin virgulă

CSV este un format text simplu pentru tabele, în care fiecare linie este un rând, iar virgulele separă coloanele. Este folosit încă din primele zile ale informaticii și este descris în RFC 4180, deși multe variante folosesc punct și virgulă sau tabulatori și codificări diferite ale textului. Aproape orice program de calcul tabelar, bază de date sau instrument de analiză îl poate importa și exporta, ceea ce îl face formatul implicit pentru mutarea datelor între sisteme. CSV stochează doar valori, fără formule, formatare, foi multiple sau tipuri de date.

Compresie
–
Transparență
–
Animație
–
Introdus în
–
Convertor CSV

PARQUET

Apache Parquet

Parquet este un format de stocare columnar open-source, creat de Twitter și Cloudera în 2013 și întreținut de Apache Software Foundation. Stochează datele pe coloane, cu compresie puternică și scheme tipizate, astfel încât instrumentele de analiză pot citi doar coloanele de care au nevoie. Este standard în data lake-uri și în instrumente precum Spark, pandas, DuckDB, BigQuery și Snowflake. Fișierele Parquet sunt binare și nu pot fi deschise într-un editor de text sau într-o aplicație obișnuită de calcul tabelar.

Compresie
Fără pierderi
Transparență
–
Animație
–
Introdus în
2013 · Apache Software Foundation (from Twitter and Cloudera)
Convertor PARQUET

CSV devine Parquet atunci când un fișier nu mai este ceva ce oamenii deschid și devine ceva ce interogările parcurg: un export zilnic ajuns într-un data lake, un set de date partajat cu analiștii sau jurnale filtrate după câteva coloane odată.

Curățați CSV-ul înainte de conversie, nu după: corectați numele din antet, eliminați rândurile de total de la final și asigurați-vă că fiecare coloană conține un singur fel de valori. Dacă sursa este o copie de siguranță a unei baze de date, nu un CSV, începeți cu SQL în CSV. Toate celelalte formate, de la JSON la SQL, se găsesc pe pagina convertor date.

Întrebări despre conversia CSV în Parquet

Cu cât va fi mai mic fișierul Parquet decât CSV-ul meu?

Depinde de date. Coloanele cu multe valori repetate, precum codurile de țară, stările sau datele calendaristice, se comprimă foarte bine, în timp ce coloanele cu ID-uri unice sau text liber se micșorează mai puțin. Un fișier Parquet are de obicei doar o fracțiune din mărimea CSV-ului, dar nu există un raport fix pe care să-l promitem.

Ce instrumente pot citi fișierul .parquet convertit?

pandas cu read_parquet, Polars, DuckDB cu un simplu SELECT pe numele fișierului, Apache Spark și data warehouse-uri în cloud precum BigQuery, Snowflake, Amazon Athena și Redshift Spectrum. Majoritatea pot interoga și un folder de fișiere Parquet cu aceleași coloane ca pe un singur tabel.

Cum se stabilesc tipurile coloanelor?

Din valorile fiecărei coloane: numerele întregi, zecimalele, datele calendaristice și valorile adevărat sau fals primesc tipuri potrivite, iar o coloană cu conținut mixt rămâne text. După conversie, verificați codurile cu zerouri la început, precum codurile poștale de tipul 02134, și păstrați-le ca text dacă trebuie să-și păstreze zeroul.

Pot converti mai multe fișiere CSV cu aceeași structură?

Da, până la 20 într-un singur lot, iar fiecare devine un fișier .parquet separat. Puneți-le într-un folder, iar DuckDB sau Spark le pot citi împreună cu un wildcard precum sales_*.parquet.

Cum văd conținutul unui fișier Parquet fără cod?

Excel și Google Sheets nu pot deschide .parquet cu dublu clic. Transformați-l înapoi în rânduri cu Parquet în CSV sau folosiți linia de comandă DuckDB, dacă vă descurcați cu o interogare SQL.