CSV in Parquet umwandeln
CSV ist schnell erstellt, aber langsam abzufragen. Laden Sie eine CSV-Datei hoch und erhalten Sie eine Apache-Parquet-Datei mit einem Spaltentyp für jedes Feld, komprimiert und bereit für das Analysetool, in das Sie sie laden.
Daten-Konverter
oder CSV, TSV, TXT …-Dateien hierher ziehen ·
Max. 95 MB pro Datei· Bis zu 20 Dateien· Gelöscht nach 30 Minuten
Dateien werden auf unseren Servern verarbeitet und nach 30 Minuten gelöscht.
Zeichen, das Spalten in CSV- und Textdateien trennt, sowohl beim Lesen als auch beim Schreiben. Automatisch erkennt es anhand der Eingabe und schreibt Kommas.
UTF-8 funktioniert für jede Sprache. Wählen Sie UTF-8 mit BOM, wenn Excel unter Windows beim Öffnen der CSV-Datei Umlaute oder asiatische Zeichen fehlerhaft anzeigt.
Eingabe aus Excel, ODS und Numbers: nur das erste Blatt oder alle Blätter umwandeln (eine CSV pro Blatt in einer ZIP-Datei oder ein JSON-Schlüssel pro Blatt).
Name des Tabellenregisters in der neuen Tabelle, bis zu 31 Zeichen.
Array von Objekten verwendet Spaltennamen als Schlüssel für jede Zeile; Array von Arrays ist kompakter und behält die Kopfzeile als erstes Array.
Name des äußeren Elements, das alle Zeilen umschließt; jede Zeile wird darin zu einem <row>.
Wird in CREATE-TABLE- und INSERT-Anweisungen verwendet. Nur Buchstaben, Ziffern und Unterstriche.
Anführungszeichen und Spaltentypen unterscheiden sich leicht zwischen Datenbanken; wählen Sie die, in die Sie importieren.
Datumszellen in einem einheitlichen Format schreiben. ISO (2026-10-18) ist für Datenbanken und Code am sichersten; „Unverändert“ lässt sie so, wie sie in der Quelle stehen.
So verwenden Sie dieses Tool
- 1
CSV-Dateien hochladen
Fügen Sie einen Export oder bis zu 20 Dateien mit gleichem Aufbau hinzu, jeweils bis zu 95 MB. Mit Trennzeichen auf „Automatisch erkennen“ werden Kommas, Semikolons, Tabulatoren und senkrechte Striche erkannt.
- 2
Kopfzeilen- und Datumseinstellungen beibehalten
Erste Zeile ist Kopfzeile macht aus der Kopfzeile die Spaltennamen. Datumsangaben steht auf ISO, damit Datumsspalten einheitlich geschrieben werden.
- 3
In Parquet umwandeln
Klicken Sie auf Umwandeln in Parquet und laden Sie die .parquet-Datei in pandas, DuckDB, Spark oder Ihr Data Warehouse.
Warum Datenteams CSV in Parquet umwandeln
Parquet wurde 2013 von Entwicklern bei Twitter und Cloudera geschaffen, aufbauend auf dem spaltenorientierten Aufbau, den Google 2010 im Dremel-Paper beschrieb, und wurde 2015 ein Apache-Top-Level-Projekt. Die Idee ist einfach: Statt eine Tabelle wie CSV Zeile für Zeile zu speichern, legt Parquet alle Werte einer Spalte zusammen ab. Eine Abfrage, die drei von vierzig Spalten braucht, liest nur diese drei, und ähnliche Werte nebeneinander lassen sich viel besser komprimieren.
Deshalb wandeln Analysten Exporte vor dem Laden um, fordern Dateningenieure von Lieferanten Parquet statt CSV an, und Dienste wie Amazon Athena und BigQuery, die nach gescannter Datenmenge abrechnen können, werden günstiger. Eine CSV-Datei weiß zudem nicht, ob 0042 eine Zahl oder ein Code ist; Parquet speichert für jede Spalte einen Typ, sodass das nächste Tool nicht raten muss.
Parquet, CSV oder XLSX für große Tabellen
| Parquet | CSV | XLSX | |
|---|---|---|---|
| Spaltentypen in der Datei gespeichert | yes | no | Pro Zelle |
| Liest nur die Spalten, die eine Abfrage braucht | yes | no | no |
| Komprimiert | yes | no | yes |
| Im Texteditor lesbar | no | yes | no |
| Öffnet in Excel per Doppelklick | no | yes | yes |
| Zeilen pro Datei | Keine feste Grenze | Keine feste Grenze | 1.048.576 pro Tabellenblatt |
Was sich ändert, wenn aus CSV Parquet wird
Das gewinnen Sie
- Schnellere Abfragen, die nur die nötigen Spalten lesen
- Kleinere Dateien zum Speichern und Übertragen
- Ein Schema, das das nächste Tool liest, statt zu raten
- Datumsangaben einheitlich im ISO-Format
Das sollten Sie beachten
- Nicht in Tabellenkalkulation oder Texteditor bearbeitbar
- Ein Tippfehler in einer Zahlenspalte kann die ganze Spalte zu Text machen
- Behalten Sie die CSV-Datei, wenn Personen sie weiterhin öffnen müssen
CSV und Parquet: Fakten zu den Formaten
CSV
Kommagetrennte Werte
CSV ist ein Nur-Text-Format für Tabellen, bei dem jede Zeile eine Datenzeile ist und Kommas die Spalten trennen. Es wird seit den Anfängen der Computertechnik genutzt und ist in RFC 4180 beschrieben, wobei viele Varianten Semikolons oder Tabulatoren und andere Zeichenkodierungen verwenden. Fast jede Tabellenkalkulation, Datenbank und Analyse-Software kann es importieren und exportieren, daher ist es das Standardformat für den Datenaustausch zwischen Systemen. CSV speichert nur Werte, ohne Formeln, Formatierung, mehrere Tabellenblätter oder Datentypen.
- Komprimierung
- –
- Transparenz
- –
- Animation
- –
- Eingeführt
- –
PARQUET
Apache Parquet
Parquet ist ein quelloffenes spaltenorientiertes Speicherformat, das Twitter und Cloudera 2013 entwickelt haben und das von der Apache Software Foundation gepflegt wird. Es speichert Daten spaltenweise mit starker Komprimierung und typisierten Schemata, sodass Analysewerkzeuge nur die benötigten Spalten lesen. Es ist Standard in Data Lakes und in Tools wie Spark, pandas, DuckDB, BigQuery und Snowflake. Parquet-Dateien sind binär und lassen sich weder in einem Texteditor noch in einer normalen Tabellenkalkulation öffnen.
- Komprimierung
- Verlustfrei
- Transparenz
- –
- Animation
- –
- Eingeführt
- 2013 · Apache Software Foundation (from Twitter and Cloudera)
CSV wird zu Parquet, wenn eine Datei nicht mehr von Menschen geöffnet, sondern von Abfragen durchsucht wird: ein täglicher Export im Data Lake, ein Datensatz für Analysten oder Logs, die jeweils nach wenigen Spalten gefiltert werden.
Bereinigen Sie die CSV-Datei vor der Umwandlung statt danach: Korrigieren Sie die Spaltennamen, entfernen Sie Summenzeilen am Ende und achten Sie darauf, dass jede Spalte nur eine Art von Wert enthält. Stammt die Quelle aus einem Datenbank-Backup statt aus einer CSV-Datei, beginnen Sie mit SQL in CSV. Alle weiteren Ziele, von JSON bis SQL, finden Sie beim Datenkonverter.
Fragen zur Umwandlung von CSV in Parquet
Wie viel kleiner wird die Parquet-Datei als meine CSV?
Das hängt von den Daten ab. Spalten mit vielen wiederholten Werten, etwa Ländercodes, Status oder Datumsangaben, lassen sich sehr gut komprimieren, Spalten mit eindeutigen IDs oder Freitext schrumpfen weniger. Eine Parquet-Datei ist meist nur ein Bruchteil so groß wie die CSV-Datei, ein festes Verhältnis lässt sich aber nicht versprechen.
Welche Tools lesen die umgewandelte .parquet-Datei?
pandas mit read_parquet, Polars, DuckDB mit einem einfachen SELECT auf den Dateinamen, Apache Spark sowie Cloud-Warehouses wie BigQuery, Snowflake, Amazon Athena und Redshift Spectrum. Die meisten können außerdem einen Ordner mit Parquet-Dateien gleicher Spalten als eine Tabelle abfragen.
Wie werden die Spaltentypen festgelegt?
Aus den Werten jeder Spalte: Ganzzahlen, Dezimalzahlen, Datumsangaben und Wahrheitswerte erhalten passende Typen, eine Spalte mit gemischtem Inhalt bleibt Text. Prüfen Sie nach der Umwandlung Codes mit führenden Nullen, etwa Postleitzahlen wie 02134, und belassen Sie sie als Text, wenn die Null erhalten bleiben muss.
Kann ich mehrere CSV-Dateien mit gleichem Aufbau in Parquet umwandeln?
Ja, bis zu 20 in einem Stapel, und jede wird zu einer eigenen .parquet-Datei. Legen Sie sie in einen Ordner, dann können DuckDB oder Spark sie mit einem Platzhalter wie sales_*.parquet gemeinsam lesen.
Wie sehe ich mir den Inhalt einer Parquet-Datei ohne Code an?
Excel und Google Sheets öffnen .parquet nicht per Doppelklick. Wandeln Sie die Datei mit Parquet in CSV zurück in Zeilen, oder nutzen Sie die Kommandozeile von DuckDB, wenn Ihnen eine SQL-Abfrage keine Mühe macht.