UltKit

Convertitore da CSV a Parquet

Il CSV è facile da generare ma lento da interrogare. Basta caricare un CSV per ottenere un file Apache Parquet con un tipo di colonna per ogni campo, compresso e pronto per lo strumento di analisi in cui verrà caricato.

Convertitore di dati

oppure trascina qui File CSV, TSV, TXT … ·

Max 95 MB per file· Fino a 20 file· Eliminati dopo 30 minuti

Output

I file vengono elaborati sui nostri server ed eliminati dopo 30 minuti.

Come usare questo strumento

  1. 1

    Caricare i file CSV

    Aggiungi un'esportazione oppure fino a 20 file con la stessa struttura, ciascuno fino a 95 MB. Con Delimitatore su Rilevamento automatico vengono riconosciuti virgole, punti e virgola, tabulazioni e pipe.

  2. 2

    Mantenere le impostazioni di intestazione e date

    La prima riga è l'intestazione trasforma la riga di intestazione nei nomi delle colonne. Date è impostato su ISO, così le colonne di date vengono scritte in un'unica forma coerente.

  3. 3

    Convertire in Parquet

    Premi Converti in Parquet e carica il file .parquet in pandas, DuckDB, Spark o nel tuo data warehouse.

Perché chi lavora con i dati converte CSV in Parquet

Parquet è stato creato nel 2013 da ingegneri di Twitter e Cloudera, ispirandosi alla struttura a colonne descritta da Google nel paper Dremel del 2010, ed è diventato un progetto Apache di primo livello nel 2015. L'idea è semplice: invece di archiviare una tabella riga per riga come fa il CSV, conserva insieme tutti i valori di una colonna. Una query che richiede tre colonne su quaranta legge solo quelle tre, e valori simili affiancati si comprimono molto meglio.

Per questo gli analisti convertono le esportazioni prima di caricarle, i data engineer chiedono ai fornitori Parquet al posto del CSV e servizi come Amazon Athena e BigQuery, che possono addebitare in base alla quantità di dati scansionati, diventano più economici da interrogare. Un CSV inoltre non sa se 0042 sia un numero o un codice; Parquet registra un tipo per ogni colonna, così lo strumento successivo non deve indovinare.

Parquet, CSV o XLSX per tabelle di grandi dimensioni

ParquetCSVXLSX
Tipi di colonna salvati nel fileyesnoPer cella
Legge solo le colonne richieste da una queryyesnono
Compressoyesnoyes
Leggibile in un editor di testonoyesno
Si apre in Excel con un doppio clicnoyesyes
Righe per fileNessun limite fissoNessun limite fisso1.048.576 per foglio

Cosa cambia quando un CSV diventa Parquet

Cosa si guadagna

  • Query più veloci che leggono solo le colonne necessarie
  • File più leggeri da archiviare e spostare
  • Uno schema che lo strumento successivo legge senza indovinare
  • Date scritte una sola volta in formato ISO

Cosa tenere presente

  • Non modificabile in un foglio di calcolo o in un editor di testo
  • Un errore di battitura in una colonna numerica può trasformare l'intera colonna in testo
  • Conserva il CSV se qualcuno deve ancora aprirlo

Caratteristiche dei formati CSV e Parquet

CSV

Valori separati da virgola

CSV è un formato di testo semplice per le tabelle in cui ogni riga è un record e le virgole separano le colonne. È in uso fin dai primi tempi dell'informatica ed è descritto nella RFC 4180, anche se molte varianti usano punti e virgola o tabulazioni e codifiche di testo diverse. Quasi tutti i fogli di calcolo, i database e gli strumenti di analisi possono importarlo ed esportarlo, e per questo è il formato predefinito per spostare dati tra sistemi. Il CSV memorizza solo valori, senza formule, formattazione, più fogli o tipi di dati.

Compressione
–
Trasparenza
–
Animazione
–
Introdotto
–
Convertitore CSV

PARQUET

Apache Parquet

Parquet è un formato di archiviazione colonnare open source creato da Twitter e Cloudera nel 2013 e mantenuto dalla Apache Software Foundation. Memorizza i dati per colonna con forte compressione e schemi tipizzati, così gli strumenti di analisi leggono solo le colonne necessarie. È standard nei data lake e in strumenti come Spark, pandas, DuckDB, BigQuery e Snowflake. I file Parquet sono binari e non si aprono con un editor di testo o un normale foglio di calcolo.

Compressione
Senza perdita
Trasparenza
–
Animazione
–
Introdotto
2013 · Apache Software Foundation (from Twitter and Cloudera)
Convertitore PARQUET

Il CSV diventa Parquet quando un file smette di essere qualcosa che le persone aprono e diventa qualcosa che le query scansionano: un'esportazione giornaliera che finisce in un data lake, un dataset condiviso con gli analisti o log filtrati per poche colonne alla volta.

Pulisci il CSV prima di convertirlo e non dopo: correggi i nomi dell'intestazione, rimuovi le righe di riepilogo in fondo e assicurati che ogni colonna contenga un solo tipo di valore. Se l'origine è un backup di database e non un CSV, parti da da SQL a CSV. Tutte le altre destinazioni, da JSON a SQL, si trovano nella pagina del convertitore dati.

Domande sulla conversione da CSV a Parquet

Quanto sarà più piccolo il file Parquet rispetto al CSV?

Dipende dai dati. Le colonne con molti valori ripetuti, come codici paese, stati o date, si comprimono molto bene, mentre le colonne di ID univoci o di testo libero si riducono meno. Un file Parquet di solito pesa una frazione del CSV, ma non esiste un rapporto fisso che valga la pena promettere.

Quali strumenti leggono il file .parquet convertito?

pandas con read_parquet, Polars, DuckDB con un semplice SELECT sul nome del file, Apache Spark e data warehouse cloud come BigQuery, Snowflake, Amazon Athena e Redshift Spectrum. La maggior parte può anche interrogare come un'unica tabella una cartella di file Parquet con le stesse colonne.

Come vengono stabiliti i tipi di colonna?

Dai valori presenti in ciascuna colonna: numeri interi, decimali, date e valori vero o falso ricevono i tipi corrispondenti, mentre una colonna con contenuto misto resta testo. Dopo la conversione controlla i codici con zeri iniziali, come i CAP tipo 00184, e mantienili come testo se lo zero deve restare.

Si possono convertire più file CSV con la stessa struttura?

Sì, fino a 20 in un unico lotto, e ognuno diventa un file .parquet a sé. Mettili in una sola cartella e DuckDB o Spark potranno leggerli insieme con un carattere jolly come sales_*.parquet.

Come si visualizza il contenuto di un file Parquet senza scrivere codice?

Excel e Google Fogli non aprono i file .parquet con un doppio clic. Per riportarlo in righe usa da Parquet a CSV, oppure la riga di comando di DuckDB se ti trovi a tuo agio con una query SQL.