UltKit

Convertir CSV en Parquet

Un CSV se produit facilement, mais il est lent à interroger. Importez un CSV et obtenez un fichier Apache Parquet avec un type de colonne pour chaque champ, compressé et prêt pour l'outil d'analyse dans lequel vous le chargez.

Convertisseur de données

ou déposez Fichiers CSV, TSV, TXT … ici ·

95 Mo max. par fichier· Jusqu'à 20 fichiers· Supprimés après 30 minutes

Sortie

Les fichiers sont traités sur nos serveurs et supprimés après 30 minutes.

Comment utiliser cet outil

  1. 1

    Importez les fichiers CSV

    Ajoutez un export ou jusqu'à 20 fichiers de même structure, chacun de 95 Mo maximum. Avec Séparateur sur Détection automatique, les virgules, points-virgules, tabulations et barres verticales sont reconnus.

  2. 2

    Conservez les réglages d'en-tête et de dates

    La première ligne contient les en-têtes transforme la ligne d'en-tête en noms de colonnes. Dates est réglé sur ISO : les colonnes de dates sont ainsi écrites sous une forme uniforme.

  3. 3

    Convertissez en Parquet

    Cliquez sur Convertir en Parquet, puis chargez le fichier .parquet dans pandas, DuckDB, Spark ou votre entrepôt de données.

Pourquoi les équipes data convertissent leurs CSV en Parquet

Parquet a été créé en 2013 par des ingénieurs de Twitter et Cloudera, en s'appuyant sur l'organisation en colonnes décrite par Google dans son article Dremel de 2010, et il est devenu un projet Apache de premier niveau en 2015. L'idée est simple : au lieu de stocker un tableau ligne par ligne comme le fait le CSV, il regroupe toutes les valeurs d'une même colonne. Une requête qui a besoin de trois colonnes sur quarante ne lit que ces trois-là, et les valeurs similaires placées côte à côte se compressent bien mieux.

C'est pourquoi les analystes convertissent leurs exports avant de les charger, les ingénieurs de données demandent du Parquet plutôt que du CSV à leurs fournisseurs, et des services comme Amazon Athena et BigQuery, qui peuvent facturer selon le volume de données analysé, coûtent moins cher à interroger. Un CSV ne sait pas non plus si 0042 est un nombre ou un code ; Parquet enregistre un type pour chaque colonne, si bien que l'outil suivant n'a pas à deviner.

Parquet, CSV ou XLSX pour les grands tableaux

ParquetCSVXLSX
Types de colonnes stockés dans le fichieryesnoPar cellule
Ne lit que les colonnes dont une requête a besoinyesnono
Compresséyesnoyes
Lisible dans un éditeur de textenoyesno
S'ouvre dans Excel d'un double-clicnoyesyes
Lignes par fichierAucune limite fixeAucune limite fixe1 048 576 par feuille

Ce qui change quand un CSV devient Parquet

Ce que vous gagnez

  • Des requêtes plus rapides, qui ne lisent que les colonnes nécessaires
  • Des fichiers plus légers à stocker et à transférer
  • Un schéma que l'outil suivant lit au lieu de deviner
  • Des dates écrites une seule fois au format ISO

À garder en tête

  • Non modifiable dans un tableur ou un éditeur de texte
  • Une faute de frappe dans une colonne numérique peut transformer toute la colonne en texte
  • Conservez le CSV si des personnes doivent encore l'ouvrir

Caractéristiques des formats CSV et Parquet

CSV

Valeurs séparées par des virgules

Le CSV est un format texte brut pour les tableaux, où chaque ligne est une ligne du tableau et où des virgules séparent les colonnes. Il est utilisé depuis les débuts de l'informatique et décrit dans la RFC 4180, bien que de nombreuses variantes utilisent des points-virgules ou des tabulations et différents encodages de texte. Presque tous les tableurs, bases de données et outils d'analyse peuvent l'importer et l'exporter, ce qui en fait le format par défaut pour échanger des données entre systèmes. Le CSV ne stocke que des valeurs, sans formules, mise en forme, feuilles multiples ni types de données.

Compression
–
Transparence
–
Animation
–
Année de création
–
Convertisseur CSV

PARQUET

Apache Parquet

Parquet est un format de stockage en colonnes open source, créé par Twitter et Cloudera en 2013 et maintenu par l'Apache Software Foundation. Il stocke les données par colonne, avec une forte compression et des schémas typés, si bien que les outils d'analyse ne lisent que les colonnes dont ils ont besoin. C'est un standard des data lakes et d'outils tels que Spark, pandas, DuckDB, BigQuery et Snowflake. Les fichiers Parquet sont binaires et ne peuvent pas être ouverts dans un éditeur de texte ni dans un tableur classique.

Compression
Sans perte
Transparence
–
Animation
–
Année de création
2013 · Apache Software Foundation (from Twitter and Cloudera)
Convertisseur PARQUET

Le CSV devient du Parquet quand un fichier cesse d'être ouvert par des personnes pour être parcouru par des requêtes : un export quotidien déposé dans un data lake, un jeu de données partagé avec des analystes, ou des journaux filtrés sur quelques colonnes à la fois.

Nettoyez le CSV avant la conversion plutôt qu'après : corrigez les noms d'en-têtes, supprimez les lignes de total en bas et vérifiez que chaque colonne ne contient qu'un seul type de valeur. Si la source est une sauvegarde de base de données plutôt qu'un CSV, commencez par SQL en CSV. Tous les autres formats cibles, de JSON à SQL, se trouvent sur la page du convertisseur de données.

Questions sur la conversion CSV en Parquet

Le fichier Parquet sera-t-il beaucoup plus léger que mon CSV ?

Cela dépend des données. Les colonnes contenant beaucoup de valeurs répétées, comme des codes pays, des statuts ou des dates, se compressent très bien, tandis que les colonnes d'identifiants uniques ou de texte libre se réduisent moins. Un fichier Parquet ne représente généralement qu'une fraction du poids du CSV, mais aucun ratio fixe ne mérite d'être promis.

Quels outils lisent le fichier .parquet converti ?

pandas avec read_parquet, Polars, DuckDB avec un simple SELECT sur le nom du fichier, Apache Spark, ainsi que des entrepôts cloud comme BigQuery, Snowflake, Amazon Athena et Redshift Spectrum. La plupart peuvent aussi interroger un dossier de fichiers Parquet aux colonnes identiques comme une seule table.

Comment les types de colonnes sont-ils déterminés ?

À partir des valeurs de chaque colonne : les entiers, les décimaux, les dates et les valeurs vrai ou faux reçoivent le type correspondant, et une colonne au contenu mixte reste en texte. Après la conversion, vérifiez les codes commençant par un zéro, comme les codes postaux de type 02134, et conservez-les en texte s'ils doivent garder ce zéro.

Puis-je convertir plusieurs fichiers CSV de même structure ?

Oui, jusqu'à 20 par lot, et chacun devient son propre fichier .parquet. Placez-les dans un même dossier : DuckDB ou Spark peuvent les lire ensemble avec un caractère générique comme sales_*.parquet.

Comment consulter le contenu d'un fichier Parquet sans code ?

Excel et Google Sheets ne peuvent pas ouvrir un .parquet d'un double-clic. Retransformez-le en lignes avec Parquet en CSV, ou utilisez la ligne de commande de DuckDB si une requête SQL ne vous fait pas peur.