UltKit

Converter CSV para Parquet

CSV é fácil de gerar e lento de consultar. Envie um CSV e receba um arquivo Apache Parquet com um tipo de coluna para cada campo, comprimido e pronto para a ferramenta de análise em que você vai carregá-lo.

Conversor de dados

ou solte arquivos CSV, TSV, TXT … aqui ·

Até 95 MB por arquivo· Até 20 arquivos· Apagados após 30 minutos

Saída

Os arquivos são processados em nossos servidores e apagados após 30 minutos.

Como usar esta ferramenta

  1. 1

    Envie os arquivos CSV

    Adicione uma exportação ou até 20 arquivos com o mesmo layout, cada um com até 95 MB. Delimitador em Detecção automática reconhece vírgulas, ponto e vírgula, tabulações e pipes.

  2. 2

    Mantenha o cabeçalho e as datas

    Primeira linha é cabeçalho transforma a linha de cabeçalho em nomes de colunas. Datas fica em ISO, para que as colunas de data sejam gravadas num formato único.

  3. 3

    Converta para Parquet

    Clique em Converter para Parquet e carregue o arquivo .parquet no pandas, no DuckDB, no Spark ou no seu data warehouse.

Por que equipes de dados convertem CSV em Parquet

O Parquet foi criado em 2013 por engenheiros do Twitter e da Cloudera, com base no layout colunar que o Google descreveu no artigo do Dremel em 2010, e virou projeto de primeiro nível da Apache em 2015. A ideia é simples: em vez de guardar a tabela linha por linha, como faz o CSV, ele guarda juntos todos os valores de uma coluna. Uma consulta que precisa de três colunas entre quarenta lê só essas três, e valores parecidos lado a lado comprimem muito melhor.

Por isso analistas convertem as exportações antes de carregá-las, engenheiros de dados pedem Parquet em vez de CSV aos fornecedores, e serviços como Amazon Athena e BigQuery, que podem cobrar pelo volume de dados lido, ficam mais baratos de consultar. Um CSV também não sabe se 0042 é um número ou um código; o Parquet registra um tipo para cada coluna, então a próxima ferramenta não precisa adivinhar.

Parquet, CSV ou XLSX para tabelas grandes

ParquetCSVXLSX
Tipos de coluna guardados no arquivoyesnoPor célula
Lê só as colunas de que a consulta precisayesnono
Comprimidoyesnoyes
Legível num editor de textonoyesno
Abre no Excel com clique duplonoyesyes
Linhas por arquivoSem limite fixoSem limite fixo1.048.576 por planilha

O que muda quando o CSV vira Parquet

O que você ganha

  • Consultas mais rápidas, que leem só as colunas necessárias
  • Arquivos menores para guardar e transferir
  • Um esquema que a próxima ferramenta lê em vez de adivinhar
  • Datas gravadas uma única vez em formato ISO

O que levar em conta

  • Não dá para editar numa planilha nem num editor de texto
  • Um erro de digitação numa coluna numérica pode transformar a coluna inteira em texto
  • Guarde o CSV se as pessoas ainda precisarem abri-lo

Fatos sobre os formatos CSV e Parquet

CSV

Valores separados por vírgula (CSV)

CSV é um formato de texto simples para tabelas em que cada linha é um registro e vírgulas separam as colunas. É usado desde os primórdios da computação e está descrito na RFC 4180, embora muitas variantes usem ponto e vírgula ou tabulações e codificações de texto diferentes. Praticamente toda planilha, banco de dados e ferramenta de análise consegue importá-lo e exportá-lo, o que o torna o formato padrão para mover dados entre sistemas. O CSV guarda só valores, sem fórmulas, formatação, várias abas ou tipos de dados.

Compressão
–
Transparência
–
Animação
–
Lançamento
–
Conversor de CSV

PARQUET

Apache Parquet

Parquet é um formato de armazenamento colunar de código aberto criado pelo Twitter e pela Cloudera em 2013 e mantido pela Apache Software Foundation. Ele armazena os dados por coluna, com compressão forte e esquemas tipados, para que ferramentas de análise leiam só as colunas de que precisam. É padrão em data lakes e em ferramentas como Spark, pandas, DuckDB, BigQuery e Snowflake. Arquivos Parquet são binários e não abrem em um editor de texto nem em um aplicativo de planilhas comum.

Compressão
Sem perdas
Transparência
–
Animação
–
Lançamento
2013 · Apache Software Foundation (from Twitter and Cloudera)
Conversor de PARQUET

Um CSV vira Parquet quando o arquivo deixa de ser algo que as pessoas abrem e passa a ser algo que as consultas varrem: uma exportação diária que cai num data lake, um conjunto de dados compartilhado com analistas ou logs filtrados por poucas colunas de cada vez.

Limpe o CSV antes de converter, não depois: corrija os nomes do cabeçalho, remova as linhas de totais no final e garanta que cada coluna tenha um só tipo de valor. Se a origem for um backup de banco de dados em vez de um CSV, comece por SQL para CSV. Todos os outros destinos, de JSON a SQL, estão na página do conversor de dados.

Perguntas sobre CSV para Parquet

Quanto menor o arquivo Parquet fica em relação ao CSV?

Depende dos dados. Colunas com muitos valores repetidos, como siglas de estado, status ou datas, comprimem muito bem, enquanto colunas de IDs únicos ou texto livre encolhem menos. Um arquivo Parquet costuma ter uma fração do tamanho do CSV, mas não existe uma proporção fixa que valha prometer.

Quais ferramentas leem o arquivo .parquet convertido?

O pandas com read_parquet, o Polars, o DuckDB com um SELECT simples no nome do arquivo, o Apache Spark e data warehouses na nuvem como BigQuery, Snowflake, Amazon Athena e Redshift Spectrum. A maioria também consulta uma pasta de arquivos Parquet com as mesmas colunas como se fosse uma tabela só.

Como os tipos de coluna do Parquet são definidos a partir do CSV?

Pelos valores de cada coluna: números inteiros, decimais, datas e valores verdadeiro ou falso recebem tipos correspondentes, e uma coluna com conteúdo misto continua como texto. Confira depois da conversão os códigos com zeros à esquerda, como CEPs do tipo 01310-100 ou códigos 0042, e mantenha-os como texto se o zero precisar ficar.

Posso converter vários CSVs com o mesmo layout para Parquet?

Sim, até 20 num lote, e cada um vira seu próprio arquivo .parquet. Coloque-os numa pasta e o DuckDB ou o Spark conseguem lê-los juntos com um curinga como vendas_*.parquet.

Como ver o conteúdo de um arquivo Parquet sem programar?

O Excel e o Google Sheets não abrem .parquet com um clique duplo. Transforme-o de novo em linhas com Parquet para CSV, ou use a linha de comando do DuckDB se você se sente à vontade com uma consulta SQL.