UltKit

Convertir CSV a Parquet

Un CSV es fácil de generar y lento de consultar. Suba un CSV y obtenga un archivo Apache Parquet con un tipo de columna para cada campo, comprimido y listo para la herramienta de análisis en la que lo vaya a cargar.

Convertidor de datos

o suelte aquí archivos CSV, TSV, TXT … ·

Máx. 95 MB por archivo· Hasta 20 archivos· Se borran a los 30 minutos

Salida

Los archivos se procesan en nuestros servidores y se borran a los 30 minutos.

Cómo usar esta herramienta

  1. 1

    Suba los archivos CSV

    Agregue una exportación o hasta 20 archivos con la misma estructura, de hasta 95 MB cada uno. Delimitador en Detección automática reconoce comas, puntos y coma, tabulaciones y barras verticales.

  2. 2

    Mantenga los ajustes de encabezado y fechas

    La primera fila es el encabezado convierte la línea de encabezado en nombres de columna. Fechas está en ISO para que las columnas de fecha se escriban con un único formato coherente.

  3. 3

    Convierta a Parquet

    Pulse Convertir a Parquet y cargue el archivo .parquet en pandas, DuckDB, Spark o su almacén de datos.

Por qué los equipos de datos convierten CSV a Parquet

Parquet lo crearon en 2013 ingenieros de Twitter y Cloudera, a partir del diseño columnar que Google describió en su artículo sobre Dremel de 2010, y se convirtió en proyecto de primer nivel de Apache en 2015. La idea es sencilla: en lugar de guardar una tabla fila por fila, como hace el CSV, guarda juntos todos los valores de una columna. Una consulta que necesita tres columnas de cuarenta lee solo esas tres, y los valores parecidos, al quedar uno junto a otro, se comprimen mucho mejor.

Por eso los analistas convierten las exportaciones antes de cargarlas, los ingenieros de datos piden a sus proveedores Parquet en lugar de CSV, y servicios como Amazon Athena y BigQuery, que pueden cobrar según la cantidad de datos leídos, resultan más baratos de consultar. Además, un CSV no sabe si 0042 es un número o un código; Parquet registra un tipo para cada columna, así que la siguiente herramienta no tiene que adivinarlo.

Parquet, CSV o XLSX para tablas grandes

ParquetCSVXLSX
Tipos de columna guardados en el archivoyesnoPor celda
Lee solo las columnas que necesita la consultayesnono
Comprimidoyesnoyes
Legible en un editor de textonoyesno
Se abre en Excel con doble clicnoyesyes
Filas por archivoSin límite fijoSin límite fijo1 048 576 por hoja

Qué cambia cuando un CSV pasa a Parquet

Lo que gana

  • Consultas más rápidas que leen solo las columnas necesarias
  • Archivos más livianos de guardar y mover
  • Un esquema que la siguiente herramienta lee en lugar de adivinar
  • Fechas escritas una sola vez en formato ISO

Lo que debe tener en cuenta

  • No se puede editar en una hoja de cálculo ni en un editor de texto
  • Un error de tipeo en una columna numérica puede convertir toda la columna en texto
  • Conserve el CSV si otras personas todavía necesitan abrirlo

Datos sobre los formatos CSV y Parquet

CSV

Valores separados por comas (CSV)

CSV es un formato de texto plano para tablas en el que cada línea es una fila y las comas separan las columnas. Se usa desde los primeros tiempos de la informática y se describe en el RFC 4180, aunque muchas variantes usan punto y coma o tabulaciones y distintas codificaciones de texto. Casi todas las hojas de cálculo, bases de datos y herramientas de análisis pueden importarlo y exportarlo, lo que lo convierte en el formato predeterminado para mover datos entre sistemas. CSV guarda solo valores, sin fórmulas, formato, varias hojas ni tipos de datos.

Compresión
–
Transparencia
–
Animación
–
Presentado en
–
Convertidor de CSV

PARQUET

Apache Parquet

Parquet es un formato de almacenamiento columnar de código abierto creado por Twitter y Cloudera en 2013 y mantenido por la Apache Software Foundation. Almacena los datos por columnas con una compresión eficaz y esquemas tipados, de modo que las herramientas de análisis pueden leer solo las columnas que necesitan. Es estándar en los data lakes y en herramientas como Spark, pandas, DuckDB, BigQuery y Snowflake. Los archivos Parquet son binarios y no pueden abrirse en un editor de texto ni en una aplicación de hojas de cálculo común.

Compresión
Sin pérdida
Transparencia
–
Animación
–
Presentado en
2013 · Apache Software Foundation (from Twitter and Cloudera)
Convertidor de PARQUET

Un CSV se convierte en Parquet cuando el archivo deja de ser algo que las personas abren y pasa a ser algo que recorren las consultas: una exportación diaria que llega a un data lake, un conjunto de datos compartido con analistas o registros que se filtran por unas pocas columnas a la vez.

Limpie el CSV antes de convertir, no después: corrija los nombres del encabezado, quite las líneas de totales del final y asegúrese de que cada columna contenga un solo tipo de valor. Si el origen es una copia de seguridad de una base de datos y no un CSV, empiece por SQL a CSV. Todos los demás destinos, de JSON a SQL, están en la página del convertidor de datos.

Preguntas sobre CSV a Parquet

¿Cuánto menos pesará el archivo Parquet que mi CSV?

Depende de los datos. Las columnas con muchos valores repetidos, como códigos de país, estados o fechas, se comprimen muy bien, mientras que las columnas de identificadores únicos o de texto libre se reducen menos. Un archivo Parquet suele pesar una fracción del CSV, pero no hay una proporción fija que se pueda prometer.

¿Qué herramientas leen el archivo .parquet convertido?

pandas con read_parquet, Polars, DuckDB con un simple SELECT sobre el nombre del archivo, Apache Spark y almacenes en la nube como BigQuery, Snowflake, Amazon Athena y Redshift Spectrum. La mayoría también puede consultar como una sola tabla una carpeta de archivos Parquet con las mismas columnas.

¿Cómo se deciden los tipos de columna al pasar de CSV a Parquet?

A partir de los valores de cada columna: los números enteros, los decimales, las fechas y los valores verdadero o falso reciben el tipo correspondiente, y una columna con contenido mixto queda como texto. Después de convertir, revise los códigos con ceros a la izquierda, como el código postal 01001, y manténgalos como texto si deben conservar el cero.

¿Puedo convertir a Parquet varios CSV con la misma estructura?

Sí, hasta 20 en un lote, y cada uno se convierte en su propio archivo .parquet. Póngalos en una misma carpeta y DuckDB o Spark podrán leerlos juntos con un comodín como ventas_*.parquet.

¿Cómo veo el contenido de un archivo Parquet sin programar?

Excel y Hojas de cálculo de Google no abren un .parquet con doble clic. Vuelva a convertirlo en filas con Parquet a CSV, o use la línea de comandos de DuckDB si se siente cómodo con una consulta SQL.