UltKit

CSV in Parquet umwandeln

CSV ist schnell erstellt, aber langsam abzufragen. Laden Sie eine CSV-Datei hoch und erhalten Sie eine Apache-Parquet-Datei mit einem Spaltentyp für jedes Feld, komprimiert und bereit für das Analysetool, in das Sie sie laden.

Daten-Konverter

oder CSV, TSV, TXT …-Dateien hierher ziehen ·

Max. 95 MB pro Datei· Bis zu 20 Dateien· Gelöscht nach 30 Minuten

Ausgabe

Dateien werden auf unseren Servern verarbeitet und nach 30 Minuten gelöscht.

So verwenden Sie dieses Tool

  1. 1

    CSV-Dateien hochladen

    Fügen Sie einen Export oder bis zu 20 Dateien mit gleichem Aufbau hinzu, jeweils bis zu 95 MB. Mit Trennzeichen auf „Automatisch erkennen“ werden Kommas, Semikolons, Tabulatoren und senkrechte Striche erkannt.

  2. 2

    Kopfzeilen- und Datumseinstellungen beibehalten

    Erste Zeile ist Kopfzeile macht aus der Kopfzeile die Spaltennamen. Datumsangaben steht auf ISO, damit Datumsspalten einheitlich geschrieben werden.

  3. 3

    In Parquet umwandeln

    Klicken Sie auf Umwandeln in Parquet und laden Sie die .parquet-Datei in pandas, DuckDB, Spark oder Ihr Data Warehouse.

Warum Datenteams CSV in Parquet umwandeln

Parquet wurde 2013 von Entwicklern bei Twitter und Cloudera geschaffen, aufbauend auf dem spaltenorientierten Aufbau, den Google 2010 im Dremel-Paper beschrieb, und wurde 2015 ein Apache-Top-Level-Projekt. Die Idee ist einfach: Statt eine Tabelle wie CSV Zeile für Zeile zu speichern, legt Parquet alle Werte einer Spalte zusammen ab. Eine Abfrage, die drei von vierzig Spalten braucht, liest nur diese drei, und ähnliche Werte nebeneinander lassen sich viel besser komprimieren.

Deshalb wandeln Analysten Exporte vor dem Laden um, fordern Dateningenieure von Lieferanten Parquet statt CSV an, und Dienste wie Amazon Athena und BigQuery, die nach gescannter Datenmenge abrechnen können, werden günstiger. Eine CSV-Datei weiß zudem nicht, ob 0042 eine Zahl oder ein Code ist; Parquet speichert für jede Spalte einen Typ, sodass das nächste Tool nicht raten muss.

Parquet, CSV oder XLSX für große Tabellen

ParquetCSVXLSX
Spaltentypen in der Datei gespeichertyesnoPro Zelle
Liest nur die Spalten, die eine Abfrage brauchtyesnono
Komprimiertyesnoyes
Im Texteditor lesbarnoyesno
Öffnet in Excel per Doppelklicknoyesyes
Zeilen pro DateiKeine feste GrenzeKeine feste Grenze1.048.576 pro Tabellenblatt

Was sich ändert, wenn aus CSV Parquet wird

Das gewinnen Sie

  • Schnellere Abfragen, die nur die nötigen Spalten lesen
  • Kleinere Dateien zum Speichern und Übertragen
  • Ein Schema, das das nächste Tool liest, statt zu raten
  • Datumsangaben einheitlich im ISO-Format

Das sollten Sie beachten

  • Nicht in Tabellenkalkulation oder Texteditor bearbeitbar
  • Ein Tippfehler in einer Zahlenspalte kann die ganze Spalte zu Text machen
  • Behalten Sie die CSV-Datei, wenn Personen sie weiterhin öffnen müssen

CSV und Parquet: Fakten zu den Formaten

CSV

Kommagetrennte Werte

CSV ist ein Nur-Text-Format für Tabellen, bei dem jede Zeile eine Datenzeile ist und Kommas die Spalten trennen. Es wird seit den Anfängen der Computertechnik genutzt und ist in RFC 4180 beschrieben, wobei viele Varianten Semikolons oder Tabulatoren und andere Zeichenkodierungen verwenden. Fast jede Tabellenkalkulation, Datenbank und Analyse-Software kann es importieren und exportieren, daher ist es das Standardformat für den Datenaustausch zwischen Systemen. CSV speichert nur Werte, ohne Formeln, Formatierung, mehrere Tabellenblätter oder Datentypen.

Komprimierung
–
Transparenz
–
Animation
–
Eingeführt
–
CSV-Konverter

PARQUET

Apache Parquet

Parquet ist ein quelloffenes spaltenorientiertes Speicherformat, das Twitter und Cloudera 2013 entwickelt haben und das von der Apache Software Foundation gepflegt wird. Es speichert Daten spaltenweise mit starker Komprimierung und typisierten Schemata, sodass Analysewerkzeuge nur die benötigten Spalten lesen. Es ist Standard in Data Lakes und in Tools wie Spark, pandas, DuckDB, BigQuery und Snowflake. Parquet-Dateien sind binär und lassen sich weder in einem Texteditor noch in einer normalen Tabellenkalkulation öffnen.

Komprimierung
Verlustfrei
Transparenz
–
Animation
–
Eingeführt
2013 · Apache Software Foundation (from Twitter and Cloudera)
PARQUET-Konverter

CSV wird zu Parquet, wenn eine Datei nicht mehr von Menschen geöffnet, sondern von Abfragen durchsucht wird: ein täglicher Export im Data Lake, ein Datensatz für Analysten oder Logs, die jeweils nach wenigen Spalten gefiltert werden.

Bereinigen Sie die CSV-Datei vor der Umwandlung statt danach: Korrigieren Sie die Spaltennamen, entfernen Sie Summenzeilen am Ende und achten Sie darauf, dass jede Spalte nur eine Art von Wert enthält. Stammt die Quelle aus einem Datenbank-Backup statt aus einer CSV-Datei, beginnen Sie mit SQL in CSV. Alle weiteren Ziele, von JSON bis SQL, finden Sie beim Datenkonverter.

Fragen zur Umwandlung von CSV in Parquet

Wie viel kleiner wird die Parquet-Datei als meine CSV?

Das hängt von den Daten ab. Spalten mit vielen wiederholten Werten, etwa Ländercodes, Status oder Datumsangaben, lassen sich sehr gut komprimieren, Spalten mit eindeutigen IDs oder Freitext schrumpfen weniger. Eine Parquet-Datei ist meist nur ein Bruchteil so groß wie die CSV-Datei, ein festes Verhältnis lässt sich aber nicht versprechen.

Welche Tools lesen die umgewandelte .parquet-Datei?

pandas mit read_parquet, Polars, DuckDB mit einem einfachen SELECT auf den Dateinamen, Apache Spark sowie Cloud-Warehouses wie BigQuery, Snowflake, Amazon Athena und Redshift Spectrum. Die meisten können außerdem einen Ordner mit Parquet-Dateien gleicher Spalten als eine Tabelle abfragen.

Wie werden die Spaltentypen festgelegt?

Aus den Werten jeder Spalte: Ganzzahlen, Dezimalzahlen, Datumsangaben und Wahrheitswerte erhalten passende Typen, eine Spalte mit gemischtem Inhalt bleibt Text. Prüfen Sie nach der Umwandlung Codes mit führenden Nullen, etwa Postleitzahlen wie 02134, und belassen Sie sie als Text, wenn die Null erhalten bleiben muss.

Kann ich mehrere CSV-Dateien mit gleichem Aufbau in Parquet umwandeln?

Ja, bis zu 20 in einem Stapel, und jede wird zu einer eigenen .parquet-Datei. Legen Sie sie in einen Ordner, dann können DuckDB oder Spark sie mit einem Platzhalter wie sales_*.parquet gemeinsam lesen.

Wie sehe ich mir den Inhalt einer Parquet-Datei ohne Code an?

Excel und Google Sheets öffnen .parquet nicht per Doppelklick. Wandeln Sie die Datei mit Parquet in CSV zurück in Zeilen, oder nutzen Sie die Kommandozeile von DuckDB, wenn Ihnen eine SQL-Abfrage keine Mühe macht.