Konversi CSV ke Parquet
CSV mudah dibuat tetapi lambat di-query. Unggah CSV dan dapatkan file Apache Parquet dengan tipe kolom untuk setiap field, terkompresi dan siap dimuat ke alat analitik Anda.
Konverter Data
atau jatuhkan file CSV, TSV, TXT … di sini ·
Maks. 95 MB per file· Hingga 20 file· Dihapus setelah 30 menit
File diproses di server kami dan dihapus setelah 30 menit.
Karakter yang memisahkan kolom di file CSV dan teks, baik saat membaca maupun menulis. Otomatis mendeteksinya dari masukan dan menulis koma.
UTF-8 berfungsi untuk semua bahasa. Pilih UTF-8 dengan BOM jika Excel di Windows menampilkan aksen atau karakter Asia yang kacau saat membuka CSV.
Untuk masukan Excel, ODS, dan Numbers: konversi sheet pertama saja, atau semua sheet (satu CSV per sheet dalam ZIP, atau satu key JSON per sheet).
Nama tab sheet di spreadsheet baru, hingga 31 karakter.
Array objek memakai nama kolom sebagai key untuk setiap baris; array dari array lebih ringkas dan menyimpan header sebagai array pertama.
Nama elemen terluar yang membungkus semua baris; setiap baris menjadi <row> di dalamnya.
Dipakai dalam pernyataan CREATE TABLE dan INSERT. Hanya huruf, angka, dan garis bawah.
Cara pengutipan dan tipe kolom sedikit berbeda antar-database; pilih database tujuan impor Anda.
Tulis ulang sel tanggal dalam satu format. ISO (2026-10-18) paling aman untuk database dan kode; Biarkan apa adanya mempertahankan tanggal seperti di sumber.
Cara menggunakan alat ini
- 1
Unggah file CSV
Tambahkan satu ekspor atau hingga 20 file dengan susunan kolom yang sama, masing-masing hingga 95 MB. Pemisah dengan Deteksi otomatis menangani koma, titik koma, tab, dan pipa.
- 2
Biarkan pengaturan header dan tanggal
Baris pertama adalah header menjadikan baris header sebagai nama kolom. Tanggal disetel ke ISO sehingga kolom tanggal ditulis dalam satu bentuk yang konsisten.
- 3
Konversi ke Parquet
Tekan Konversi ke Parquet lalu muat file .parquet ke pandas, DuckDB, Spark, atau data warehouse Anda.
Mengapa tim data mengubah CSV menjadi Parquet
Parquet dibuat pada 2013 oleh engineer di Twitter dan Cloudera, berdasarkan tata letak kolumnar yang dijelaskan Google dalam makalah Dremel tahun 2010, dan menjadi proyek tingkat atas Apache pada 2015. Idenya sederhana: alih-alih menyimpan tabel baris demi baris seperti CSV, Parquet menyimpan semua nilai satu kolom bersama-sama. Query yang membutuhkan tiga dari empat puluh kolom hanya membaca tiga kolom itu, dan nilai serupa yang berdampingan terkompresi jauh lebih baik.
Itulah sebabnya analis mengonversi ekspor sebelum memuatnya, data engineer meminta Parquet alih-alih CSV dari pemasok, dan layanan seperti Amazon Athena dan BigQuery, yang bisa menagih berdasarkan jumlah data yang dipindai, menjadi lebih murah untuk di-query. CSV juga tidak tahu apakah 0042 itu angka atau kode; Parquet mencatat tipe untuk setiap kolom, sehingga alat berikutnya tidak perlu menebak.
Parquet vs CSV vs XLSX untuk tabel besar
| Parquet | CSV | XLSX | |
|---|---|---|---|
| Tipe kolom tersimpan di file | yes | no | Per sel |
| Hanya membaca kolom yang dibutuhkan query | yes | no | no |
| Terkompresi | yes | no | yes |
| Bisa dibaca di editor teks | no | yes | no |
| Terbuka di Excel dengan klik ganda | no | yes | yes |
| Baris per file | Tanpa batas tetap | Tanpa batas tetap | 1.048.576 per sheet |
Apa yang berubah saat CSV menjadi Parquet
Yang Anda dapatkan
- Query lebih cepat karena hanya membaca kolom yang dibutuhkan
- File lebih kecil untuk disimpan dan dipindahkan
- Skema yang dibaca alat berikutnya, bukan ditebak
- Tanggal ditulis sekali dalam bentuk ISO
Yang perlu diingat
- Tidak bisa disunting di spreadsheet atau editor teks
- Salah ketik di kolom angka bisa mengubah seluruh kolom menjadi teks
- Simpan CSV-nya jika orang masih perlu membukanya
Fakta format CSV dan Parquet
CSV
Nilai yang dipisahkan koma (CSV)
CSV adalah format teks biasa untuk tabel, dengan setiap baris menjadi satu baris data dan koma memisahkan kolom. Format ini telah digunakan sejak masa awal komputasi dan dijelaskan dalam RFC 4180, meskipun banyak variannya memakai titik koma atau tab serta encoding teks yang berbeda. Hampir semua spreadsheet, basis data, dan alat analitik dapat mengimpor dan mengekspornya, sehingga CSV menjadi format bawaan untuk memindahkan data antarsistem. CSV hanya menyimpan nilai, tanpa rumus, format, banyak sheet, atau tipe data.
- Kompresi
- –
- Transparansi
- –
- Animasi
- –
- Diperkenalkan
- –
PARQUET
Apache Parquet
Parquet adalah format penyimpanan kolumnar open source yang dibuat oleh Twitter dan Cloudera pada 2013 dan dikelola oleh Apache Software Foundation. Format ini menyimpan data per kolom dengan kompresi kuat dan skema bertipe, sehingga alat analitik hanya perlu membaca kolom yang dibutuhkan. Parquet menjadi standar di data lake dan alat seperti Spark, pandas, DuckDB, BigQuery, dan Snowflake. File Parquet berbentuk biner dan tidak dapat dibuka di editor teks atau aplikasi spreadsheet biasa.
- Kompresi
- Lossless
- Transparansi
- –
- Animasi
- –
- Diperkenalkan
- 2013 · Apache Software Foundation (from Twitter and Cloudera)
CSV diubah menjadi Parquet ketika file tidak lagi dibuka orang, tetapi dipindai oleh query: ekspor harian yang masuk ke data lake, dataset yang dibagikan ke analis, atau log yang difilter berdasarkan beberapa kolom sekaligus.
Bersihkan CSV sebelum konversi, bukan sesudahnya: perbaiki nama header, hapus baris ringkasan di bagian bawah, dan pastikan setiap kolom hanya berisi satu jenis nilai. Jika sumbernya cadangan database, bukan CSV, mulailah dengan SQL ke CSV. Semua target lain, dari JSON hingga SQL, ada di halaman konverter data.
Pertanyaan seputar CSV ke Parquet
Seberapa kecil file Parquet dibandingkan CSV saya?
Tergantung datanya. Kolom dengan banyak nilai berulang, seperti kode negara, status, atau tanggal, terkompresi sangat baik, sedangkan kolom berisi ID unik atau teks bebas menyusut lebih sedikit. File Parquet biasanya hanya sebagian kecil dari ukuran CSV, tetapi tidak ada rasio pasti yang layak dijanjikan.
Alat apa saja yang bisa membaca file .parquet hasil konversi?
pandas dengan read_parquet, Polars, DuckDB dengan SELECT biasa pada nama file, Apache Spark, serta data warehouse cloud seperti BigQuery, Snowflake, Amazon Athena, dan Redshift Spectrum. Sebagian besar juga bisa meng-query satu folder file Parquet berkolom sama sebagai satu tabel.
Bagaimana tipe kolom Parquet ditentukan dari CSV?
Dari nilai di setiap kolom: bilangan bulat, desimal, tanggal, serta nilai benar atau salah mendapat tipe yang sesuai, sedangkan kolom berisi campuran tetap menjadi teks. Periksa kode dengan nol di depan, seperti kode pos 02134, setelah konversi, dan simpan sebagai teks jika nol itu harus tetap ada.
Bisakah beberapa file CSV dengan susunan sama dikonversi ke Parquet?
Bisa, hingga 20 dalam satu kelompok, dan masing-masing menjadi file .parquet tersendiri. Letakkan dalam satu folder, maka DuckDB atau Spark bisa membacanya bersama dengan wildcard seperti penjualan_*.parquet.
Bagaimana melihat isi file Parquet tanpa kode?
Excel dan Google Sheets tidak bisa membuka .parquet dengan klik ganda. Ubah kembali menjadi baris dengan Parquet ke CSV, atau gunakan command line DuckDB jika Anda terbiasa dengan satu query SQL.