UltKit

Konvertera CSV till Parquet

CSV är lätt att skapa men långsamt att söka i. Ladda upp en CSV-fil och få en Apache Parquet-fil med en kolumntyp för varje fält, komprimerad och redo för det analysverktyg du läser in den i.

Datakonverterare

eller släpp CSV, TSV, TXT …-filer här ·

Max 95 MB per fil· Upp till 20 filer· Raderas efter 30 minuter

Utdata

Filerna bearbetas på våra servrar och raderas efter 30 minuter.

Så använder du verktyget

  1. 1

    Ladda upp CSV-filerna

    Lägg till en export eller upp till 20 filer med samma struktur, var och en upp till 95 MB. Avgränsare på Auto detect hanterar kommatecken, semikolon, tabbar och lodräta streck.

  2. 2

    Behåll inställningarna för rubrikrad och datum

    Första raden är rubrikrad gör rubrikraden till kolumnnamn. Datum står på ISO, så att datumkolumner skrivs i en enhetlig form.

  3. 3

    Konvertera till Parquet

    Tryck på Konvertera till Parquet och läs in .parquet-filen i pandas, DuckDB, Spark eller ditt datalager.

Därför konverterar datateam CSV till Parquet

Parquet skapades 2013 av ingenjörer på Twitter och Cloudera, med stöd i den kolumnbaserade layout som Google beskrev i sin Dremel-artikel från 2010, och blev ett Apache-toppprojekt 2015. Idén är enkel: i stället för att lagra en tabell rad för rad som CSV gör lagras alla värden i en kolumn tillsammans. En fråga som behöver tre kolumner av fyrtio läser bara de tre, och liknande värden som ligger intill varandra komprimeras betydligt bättre.

Därför konverterar analytiker exporter innan de läser in dem, dataingenjörer ber leverantörer om Parquet i stället för CSV, och tjänster som Amazon Athena och BigQuery, som kan ta betalt efter mängden skannad data, blir billigare att fråga. En CSV vet inte heller om 0042 är ett tal eller en kod; Parquet lagrar en typ för varje kolumn, så nästa verktyg slipper gissa.

Parquet, CSV och XLSX för stora tabeller

ParquetCSVXLSX
Kolumntyper lagras i filenyesnoPer cell
Läser bara de kolumner en fråga behöveryesnono
Komprimeradyesnoyes
Läsbar i ett textredigeringsprogramnoyesno
Öppnas i Excel med ett dubbelklicknoyesyes
Rader per filIngen fast gränsIngen fast gräns1 048 576 per blad

Vad som ändras när CSV blir Parquet

Det här vinner du

  • Snabbare frågor som bara läser de kolumner som behövs
  • Mindre filer att lagra och flytta
  • Ett schema som nästa verktyg läser i stället för att gissa
  • Datum skrivs en gång i ISO-form

Det här bör du tänka på

  • Går inte att redigera i ett kalkylprogram eller textredigeringsprogram
  • Ett skrivfel i en numerisk kolumn kan göra hela kolumnen till text
  • Behåll CSV-filen om människor fortfarande behöver öppna den

Fakta om formaten CSV och Parquet

CSV

Kommaseparerade värden

CSV är ett textformat för tabeller där varje rad är en post och kommatecken skiljer kolumnerna åt. Det har använts sedan datorernas barndom och beskrivs i RFC 4180, även om många varianter använder semikolon eller tabbtecken och olika teckenkodningar. Nästan alla kalkylprogram, databaser och analysverktyg kan importera och exportera det, vilket gör det till standardformatet för att flytta data mellan system. CSV lagrar bara värden, utan formler, formatering, flera blad eller datatyper.

Komprimering
–
Transparens
–
Animation
–
Introducerades
–
CSV-omvandlare

PARQUET

Apache Parquet

Parquet är ett kolumnbaserat lagringsformat med öppen källkod som skapades av Twitter och Cloudera 2013 och underhålls av Apache Software Foundation. Det lagrar data per kolumn med stark komprimering och typade scheman, så analysverktyg kan läsa bara de kolumner de behöver. Det är standard i data lakes och i verktyg som Spark, pandas, DuckDB, BigQuery och Snowflake. Parquet-filer är binära och kan inte öppnas i en textredigerare eller ett vanligt kalkylprogram.

Komprimering
Förlustfri
Transparens
–
Animation
–
Introducerades
2013 · Apache Software Foundation (from Twitter and Cloudera)
PARQUET-omvandlare

CSV blir Parquet när en fil slutar vara något som människor öppnar och blir något som frågor skannar: en daglig export som landar i en datasjö, en datamängd som delas med analytiker eller loggar som filtreras på några få kolumner åt gången.

Rensa CSV-filen före konverteringen i stället för efter: rätta rubrikernas namn, ta bort summeringsrader längst ner och se till att varje kolumn innehåller en sorts värden. Om källan är en databassäkerhetskopia snarare än en CSV, börja med SQL till CSV. Alla andra mål, från JSON till SQL, finns på sidan för datakonverterare.

Frågor om CSV till Parquet

Hur mycket mindre blir Parquet-filen jämfört med min CSV?

Det beror på datan. Kolumner med många upprepade värden, som landskoder, statusar eller datum, komprimeras mycket bra, medan kolumner med unika ID:n eller fritext krymper mindre. En Parquet-fil är oftast en bråkdel av CSV-filens storlek, men det finns ingen fast kvot som går att lova.

Vilka verktyg kan läsa den konverterade .parquet-filen?

pandas med read_parquet, Polars, DuckDB med en enkel SELECT på filnamnet, Apache Spark samt molnbaserade datalager som BigQuery, Snowflake, Amazon Athena och Redshift Spectrum. De flesta kan också fråga en mapp med Parquet-filer med samma kolumner som en enda tabell.

Hur bestäms kolumntyperna?

Utifrån värdena i varje kolumn: heltal, decimaltal, datum och sant/falskt-värden får matchande typer, och en kolumn med blandat innehåll förblir text. Kontrollera koder med inledande nollor, till exempel postnummer som 02134, efter konverteringen och behåll dem som text om nollan måste vara kvar.

Kan jag konvertera flera CSV-filer med samma struktur?

Ja, upp till 20 i en omgång, och varje fil blir en egen .parquet-fil. Lägg dem i en mapp, så kan DuckDB eller Spark läsa dem tillsammans med ett jokertecken som sales_*.parquet.

Hur ser jag innehållet i en Parquet-fil utan kod?

Excel och Google Sheets kan inte öppna .parquet med ett dubbelklick. Gör om filen till rader med Parquet till CSV, eller använd DuckDB:s kommandorad om du är bekväm med en SQL-fråga.