UltKit

CSV naar Parquet converteren

CSV is makkelijk te maken, maar traag om te bevragen. Upload een CSV en u krijgt een Apache Parquet-bestand met een kolomtype voor elk veld, gecomprimeerd en klaar voor de analysetool waarin u het laadt.

Dataconverter

of sleep CSV, TSV, TXT …-bestanden hierheen ·

Max. 95 MB per bestand· Tot 20 bestanden· Verwijderd na 30 minuten

Uitvoer

Bestanden worden op onze servers verwerkt en na 30 minuten verwijderd.

Zo gebruikt u deze tool

  1. 1

    Upload de CSV-bestanden

    Voeg één export toe of maximaal 20 bestanden met dezelfde indeling, elk tot 95 MB. Met Scheidingsteken op automatisch detecteren worden komma's, puntkomma's, tabs en verticale streepjes (pipes) herkend.

  2. 2

    Laat de instellingen voor koprij en datum staan

    Met Eerste rij is koptekst wordt de kopregel de kolomnamen. Datums staat op ISO, zodat datumkolommen in één consistente notatie worden weggeschreven.

  3. 3

    Converteer naar Parquet

    Klik op Converteren naar Parquet en laad het .parquet-bestand in pandas, DuckDB, Spark of uw datawarehouse.

Waarom datateams CSV naar Parquet omzetten

Parquet is in 2013 gemaakt door ingenieurs van Twitter en Cloudera, op basis van de kolomindeling die Google in 2010 beschreef in het Dremel-artikel, en werd in 2015 een Apache-topproject. Het idee is eenvoudig: in plaats van een tabel rij voor rij op te slaan zoals CSV, worden alle waarden van één kolom bij elkaar bewaard. Een query die drie van de veertig kolommen nodig heeft, leest alleen die drie, en gelijksoortige waarden naast elkaar comprimeren veel beter.

Daarom zetten analisten exports om voordat ze die laden, vragen data-engineers leveranciers om Parquet in plaats van CSV, en worden diensten als Amazon Athena en BigQuery, die kunnen rekenen op basis van de hoeveelheid gescande data, goedkoper om te doorzoeken. Een CSV weet ook niet of 0042 een getal of een code is; Parquet legt voor elke kolom een type vast, zodat de volgende tool niet hoeft te raden.

Parquet vs. CSV vs. XLSX voor grote tabellen

ParquetCSVXLSX
Kolomtypen opgeslagen in het bestandyesnoPer cel
Leest alleen de kolommen die een query nodig heeftyesnono
Gecomprimeerdyesnoyes
Leesbaar in een teksteditornoyesno
Opent in Excel met een dubbelkliknoyesyes
Rijen per bestandGeen vaste limietGeen vaste limiet1.048.576 per werkblad

Wat er verandert als CSV Parquet wordt

Wat u wint

  • Snellere queries die alleen de benodigde kolommen lezen
  • Kleinere bestanden om op te slaan en te verplaatsen
  • Een schema dat de volgende tool leest in plaats van te raden
  • Datums eenmalig in ISO-notatie weggeschreven

Waar u rekening mee moet houden

  • Niet te bewerken in een spreadsheet of teksteditor
  • Een typefout in een numerieke kolom kan de hele kolom tot tekst maken
  • Bewaar de CSV als mensen het bestand nog moeten openen

Feiten over de formaten CSV en Parquet

CSV

Door komma's gescheiden waarden

CSV is een platte-tekstformaat voor tabellen waarin elke regel een rij is en komma's de kolommen scheiden. Het wordt sinds de begindagen van de computer gebruikt en is beschreven in RFC 4180, hoewel veel varianten puntkomma's of tabs en andere tekencoderingen gebruiken. Vrijwel elke spreadsheet-, database- en analysetool kan het importeren en exporteren, waardoor het de standaard is om data tussen systemen uit te wisselen. CSV bevat alleen waarden, zonder formules, opmaak, meerdere werkbladen of gegevenstypen.

Compressie
–
Transparantie
–
Animatie
–
Geïntroduceerd
–
CSV-converter

PARQUET

Apache Parquet

Parquet is een opensource kolomgeoriënteerd opslagformaat, in 2013 ontwikkeld door Twitter en Cloudera en onderhouden door de Apache Software Foundation. Het slaat gegevens per kolom op met sterke compressie en getypeerde schema's, zodat analysetools alleen de benodigde kolommen hoeven te lezen. Het is de standaard in datalakes en in tools als Spark, pandas, DuckDB, BigQuery en Snowflake. Parquet-bestanden zijn binair en kunnen niet worden geopend in een teksteditor of een gewone spreadsheetapp.

Compressie
Zonder verlies
Transparantie
–
Animatie
–
Geïntroduceerd
2013 · Apache Software Foundation (from Twitter and Cloudera)
PARQUET-converter

CSV wordt Parquet wanneer een bestand niet meer iets is dat mensen openen, maar iets waar queries doorheen scannen: een dagelijkse export die in een datalake terechtkomt, een dataset die met analisten wordt gedeeld, of logs die op een paar kolommen tegelijk worden gefilterd.

Maak de CSV liever schoon vóór het converteren dan erna: corrigeer de kopnamen, verwijder samenvattingsregels onderaan en zorg dat elke kolom één soort waarde bevat. Is de bron een databaseback-up in plaats van een CSV, begin dan met SQL naar CSV. Alle andere doelformaten, van JSON tot SQL, staan op de pagina dataconverter.

Vragen over CSV naar Parquet

Hoeveel kleiner wordt het Parquet-bestand dan mijn CSV?

Dat hangt van de data af. Kolommen met veel herhaalde waarden, zoals landcodes, statussen of datums, comprimeren heel goed, terwijl kolommen met unieke ID's of vrije tekst minder krimpen. Een Parquet-bestand is meestal een fractie van de grootte van de CSV, maar er is geen vaste verhouding die we kunnen beloven.

Welke tools kunnen het geconverteerde .parquet-bestand lezen?

pandas met read_parquet, Polars, DuckDB met een gewone SELECT op de bestandsnaam, Apache Spark en clouddatawarehouses zoals BigQuery, Snowflake, Amazon Athena en Redshift Spectrum. De meeste kunnen ook een map met Parquet-bestanden met dezelfde kolommen als één tabel doorzoeken.

Hoe worden de kolomtypen bepaald?

Op basis van de waarden in elke kolom: gehele getallen, decimalen, datums en waar/onwaar-waarden krijgen een passend type, en een kolom met gemengde inhoud blijft tekst. Controleer na het converteren codes met voorloopnullen, zoals postcodes als 02134, en bewaar ze als tekst als de nul moet blijven staan.

Kan ik meerdere CSV-bestanden met dezelfde opbouw converteren?

Ja, tot 20 per keer, en elk wordt een eigen .parquet-bestand. Zet ze in één map, dan kunnen DuckDB of Spark ze samen lezen met een jokerteken zoals sales_*.parquet.

Hoe bekijk ik de inhoud van een Parquet-bestand zonder code?

Excel en Google Sheets openen .parquet niet met een dubbelklik. Zet het terug naar rijen met Parquet naar CSV, of gebruik de opdrachtregel van DuckDB als u een SQL-query aandurft.