Konverter CSV til Parquet
CSV er nemt at lave, men langsomt at forespørge i. Upload en CSV-fil, og få en Apache Parquet-fil med en kolonnetype for hvert felt, komprimeret og klar til det analyseværktøj, du indlæser den i.
Datakonverter
eller slip CSV, TSV, TXT …-filer her ·
Maks. 95 MB pr. fil· Op til 20 filer· Slettes efter 30 minutter
Filer behandles på vores servere og slettes efter 30 minutter.
Tegn, der adskiller kolonner i CSV- og tekstfiler, både ved læsning og skrivning. Automatisk finder det i inputtet og skriver kommaer.
UTF-8 fungerer til alle sprog. Vælg UTF-8 med BOM, hvis Excel på Windows viser forkerte danske bogstaver eller asiatiske tegn, når CSV-filen åbnes.
Input fra Excel, ODS og Numbers: konvertér kun det første ark eller alle ark (én CSV pr. ark i en ZIP eller én JSON-nøgle pr. ark).
Navnet på arkfanen i det nye regneark, op til 31 tegn.
Array af objekter bruger kolonnenavne som nøgler for hver række; array af arrays er mere kompakt og beholder overskriften som første array.
Navnet på det yderste element, der omslutter alle rækker; hver række bliver til en <row> inden i det.
Bruges i CREATE TABLE- og INSERT-sætninger. Kun bogstaver, cifre og understregninger.
Citering og kolonnetyper er lidt forskellige mellem databaser; vælg den, du skal importere til.
Omskriv datoceller til ét format. ISO (2026-10-18) er sikrest til databaser og kode; behold lader dem stå, som de er i kilden.
Sådan bruger du værktøjet
- 1
Upload CSV-filerne
Tilføj én eksportfil eller op til 20 filer med samme opbygning, hver på op til 95 MB. Skilletegn på Auto detect håndterer kommaer, semikoloner, tabulatorer og pipe-tegn.
- 2
Behold indstillingerne for overskrift og dato
Første række er overskrift gør overskriftslinjen til kolonnenavne. Datoer er sat til ISO, så datokolonner skrives i ét ensartet format.
- 3
Konvertér til Parquet
Tryk på Konvertér til Parquet, og indlæs .parquet-filen i pandas, DuckDB, Spark eller dit data warehouse.
Derfor konverterer dataholds CSV til Parquet
Parquet blev skabt i 2013 af ingeniører hos Twitter og Cloudera med afsæt i det kolonnebaserede layout, Google beskrev i sin Dremel-artikel fra 2010, og det blev et Apache-topprojekt i 2015. Ideen er enkel: i stedet for at gemme en tabel række for række som CSV gemmer det alle værdier fra én kolonne samlet. En forespørgsel, der skal bruge tre kolonner ud af fyrre, læser kun de tre, og ensartede værdier side om side komprimeres langt bedre.
Derfor konverterer analytikere eksporter, før de indlæser dem, dataingeniører beder leverandører om Parquet i stedet for CSV, og tjenester som Amazon Athena og BigQuery, der kan afregne efter mængden af scannede data, bliver billigere at forespørge. En CSV ved heller ikke, om 0042 er et tal eller en kode; Parquet registrerer en type for hver kolonne, så det næste værktøj ikke skal gætte.
Parquet, CSV og XLSX til store tabeller
| Parquet | CSV | XLSX | |
|---|---|---|---|
| Kolonnetyper gemt i filen | yes | no | Pr. celle |
| Læser kun de kolonner, en forespørgsel bruger | yes | no | no |
| Komprimeret | yes | no | yes |
| Kan læses i en teksteditor | no | yes | no |
| Åbner i Excel med et dobbeltklik | no | yes | yes |
| Rækker pr. fil | Ingen fast grænse | Ingen fast grænse | 1.048.576 pr. ark |
Hvad ændrer sig, når CSV bliver til Parquet
Det får du
- Hurtigere forespørgsler, der kun læser de nødvendige kolonner
- Mindre filer at gemme og flytte
- Et skema, som det næste værktøj læser i stedet for at gætte
- Datoer skrevet ensartet i ISO-format
Det skal du være opmærksom på
- Kan ikke redigeres i et regneark eller en teksteditor
- En tastefejl i en numerisk kolonne kan gøre hele kolonnen til tekst
- Behold CSV-filen, hvis folk stadig skal kunne åbne den
Fakta om CSV- og Parquet-formatet
CSV
Kommaseparerede værdier
CSV er et almindeligt tekstformat til tabeller, hvor hver linje er en række, og kommaer adskiller kolonnerne. Det har været brugt siden computernes tidlige dage og er beskrevet i RFC 4180, selvom mange varianter bruger semikolon eller tabulatorer og forskellige tegnkodninger. Næsten alle regneark, databaser og analyseværktøjer kan importere og eksportere det, hvilket gør det til standardformatet til at flytte data mellem systemer. CSV gemmer kun værdier, uden formler, formatering, flere ark eller datatyper.
- Komprimering
- –
- Gennemsigtighed
- –
- Animation
- –
- Introduceret
- –
PARQUET
Apache Parquet
Parquet er et open source-lagringsformat med kolonneopbygning, som Twitter og Cloudera skabte i 2013, og som Apache Software Foundation vedligeholder. Det gemmer data kolonne for kolonne med kraftig komprimering og typede skemaer, så analyseværktøjer kun behøver at læse de kolonner, de skal bruge. Det er standard i data lakes og værktøjer som Spark, pandas, DuckDB, BigQuery og Snowflake. Parquet-filer er binære og kan ikke åbnes i en teksteditor eller et almindeligt regnearksprogram.
- Komprimering
- Uden tab
- Gennemsigtighed
- –
- Animation
- –
- Introduceret
- 2013 · Apache Software Foundation (from Twitter and Cloudera)
CSV bliver til Parquet, når en fil holder op med at være noget, folk åbner, og bliver noget, forespørgsler scanner: en daglig eksport, der lander i en data lake, et datasæt delt med analytikere eller logfiler, der filtreres på nogle få kolonner ad gangen.
Ryd op i CSV-filen før konverteringen frem for bagefter: ret overskrifterne, fjern opsummeringslinjer nederst, og sørg for, at hver kolonne kun indeholder én type værdi. Hvis kilden er en databasebackup og ikke en CSV, så start med SQL til CSV. Alle andre formater, fra JSON til SQL, findes på siden datakonverter.
Spørgsmål om CSV til Parquet
Hvor meget mindre bliver Parquet-filen end min CSV?
Det afhænger af dataene. Kolonner med mange gentagne værdier, f.eks. landekoder, statusser eller datoer, komprimeres meget effektivt, mens kolonner med unikke ID'er eller fri tekst skrumper mindre. En Parquet-fil fylder som regel en brøkdel af CSV-filen, men der er ikke noget fast forhold, det er værd at love.
Hvilke værktøjer kan læse den konverterede .parquet-fil?
pandas med read_parquet, Polars, DuckDB med en almindelig SELECT på filnavnet, Apache Spark samt cloud-datavarehuse som BigQuery, Snowflake, Amazon Athena og Redshift Spectrum. De fleste af dem kan også forespørge en mappe med Parquet-filer med de samme kolonner som én tabel.
Hvordan bestemmes kolonnetyperne?
Ud fra værdierne i hver kolonne: heltal, decimaltal, datoer og sand/falsk-værdier får tilsvarende typer, og en kolonne med blandet indhold forbliver tekst. Tjek koder med foranstillede nuller, f.eks. postnumre som 02134, efter konverteringen, og behold dem som tekst, hvis nullet skal bevares.
Kan jeg konvertere flere CSV-filer med samme opbygning?
Ja, op til 20 i én omgang, og hver bliver til sin egen .parquet-fil. Læg dem i én mappe, så kan DuckDB eller Spark læse dem samlet med et jokertegn som sales_*.parquet.
Hvordan ser jeg indholdet af en Parquet-fil uden kode?
Excel og Google Sheets kan ikke åbne .parquet med et dobbeltklik. Gør den til rækker igen med Parquet til CSV, eller brug DuckDB's kommandolinje, hvis du er fortrolig med én SQL-forespørgsel.