Penukar CSV ke Parquet
CSV mudah dihasilkan tetapi lambat untuk dikueri. Muat naik fail CSV dan dapatkan fail Apache Parquet dengan jenis lajur bagi setiap medan, siap dimampatkan dan sedia untuk alat analitik yang Anda gunakan.
Penukar Data
atau seret Fail CSV, TSV, TXT … ke sini ·
Maks 95 MB setiap fail· Sehingga 20 fail· Dipadam selepas 30 minit
Fail diproses pada pelayan kami dan dipadam selepas 30 minit.
Aksara yang memisahkan lajur dalam fail CSV dan teks, untuk bacaan dan penulisan. Auto mengesannya daripada input dan menulis dengan koma.
UTF-8 sesuai untuk semua bahasa. Pilih UTF-8 dengan BOM jika Excel pada Windows memaparkan aksara beraksen atau aksara Asia yang bercelaru semasa membuka CSV.
Input Excel, ODS dan Numbers: tukar helaian pertama sahaja, atau semua helaian (satu CSV setiap helaian dalam ZIP, atau satu kunci JSON setiap helaian).
Nama tab helaian dalam hamparan baharu, sehingga 31 aksara.
Tatasusunan objek menggunakan nama lajur sebagai kunci bagi setiap baris; tatasusunan tatasusunan lebih padat dan menyimpan pengepala sebagai tatasusunan pertama.
Nama elemen luar yang membungkus semua baris; setiap baris menjadi <row> di dalamnya.
Digunakan dalam pernyataan CREATE TABLE dan INSERT. Huruf, digit dan garis bawah sahaja.
Pengutipan dan jenis lajur sedikit berbeza antara pangkalan data; pilih yang akan anda import ke dalamnya.
Tulis semula sel tarikh dalam satu format. ISO (2026-10-18) paling selamat untuk pangkalan data dan kod; kekalkan membiarkannya seperti dalam sumber.
Cara menggunakan alat ini
- 1
Muat naik fail CSV
Tambah satu eksport atau sehingga 20 fail dengan susun atur yang sama, setiap satu sehingga 95 MB. Pembatas pada Kesan automatik mengendalikan koma, titik bertindih, tab dan palang menegak.
- 2
Kekalkan tetapan pengepala dan tarikh
Baris pertama ialah pengepala menjadikan baris pengepala sebagai nama lajur. Tarikh ditetapkan pada ISO supaya lajur tarikh ditulis dalam satu bentuk yang konsisten.
- 3
Tukar ke Parquet
Tekan Tukar ke Parquet dan muatkan fail .parquet ke dalam pandas, DuckDB, Spark atau gudang data anda.
Mengapa pasukan data menukar CSV ke Parquet
Parquet dicipta pada 2013 oleh jurutera di Twitter dan Cloudera, berdasarkan susun atur berlajur yang diterangkan Google dalam kertas Dremel 2010, dan menjadi projek Apache peringkat teratas pada 2015. Idenya mudah: berbanding menyimpan jadual baris demi baris seperti CSV, ia menyimpan semua nilai satu lajur bersama. Pertanyaan yang memerlukan tiga lajur daripada empat puluh hanya membaca tiga lajur itu, dan nilai serupa yang berdekatan dimampatkan jauh lebih baik.
Itulah sebabnya penganalisis menukar eksport sebelum memuatkannya, jurutera data meminta Parquet daripada pembekal dan bukan CSV, serta perkhidmatan seperti Amazon Athena dan BigQuery, yang boleh mengenakan bayaran mengikut jumlah data diimbas, menjadi lebih murah untuk dibuat pertanyaan. CSV juga tidak tahu sama ada 0042 ialah nombor atau kod; Parquet merekodkan jenis bagi setiap lajur, jadi alat seterusnya tidak perlu meneka.
Parquet lwn CSV lwn XLSX untuk jadual besar
| Parquet | CSV | XLSX | |
|---|---|---|---|
| Jenis lajur disimpan dalam fail | yes | no | Bagi setiap sel |
| Membaca hanya lajur yang diperlukan pertanyaan | yes | no | no |
| Dimampatkan | yes | no | yes |
| Boleh dibaca dalam editor teks | no | yes | no |
| Dibuka dalam Excel dengan klik dua kali | no | yes | yes |
| Baris bagi setiap fail | Tiada had tetap | Tiada had tetap | 1,048,576 setiap helaian |
Apa yang berubah apabila CSV menjadi Parquet
Kelebihannya
- Pertanyaan lebih pantas yang hanya membaca lajur diperlukan
- Fail lebih kecil untuk disimpan dan dipindahkan
- Skema yang dibaca alat seterusnya tanpa meneka
- Tarikh ditulis sekali dalam bentuk ISO
Perkara yang perlu diingat
- Tidak boleh disunting dalam hamparan atau editor teks
- Satu salah taip dalam lajur angka boleh menjadikan seluruh lajur sebagai teks
- Simpan CSV jika orang masih perlu membukanya
Fakta format CSV dan Parquet
CSV
Nilai dipisahkan koma
CSV ialah format teks biasa untuk jadual di mana setiap baris ialah satu rekod dan koma memisahkan lajur. Ia telah digunakan sejak awal era pengkomputeran dan diterangkan dalam RFC 4180, walaupun banyak varian menggunakan koma bertitik atau tab dan pengekodan teks berbeza. Hampir setiap hamparan, pangkalan data dan alat analitik boleh mengimport dan mengeksportnya, menjadikannya format lalai untuk memindahkan data antara sistem. CSV hanya menyimpan nilai, tanpa formula, pemformatan, berbilang helaian atau jenis data.
- Pemampatan
- –
- Ketelusan
- –
- Animasi
- –
- Diperkenalkan
- –
PARQUET
Apache Parquet
Parquet ialah format storan berlajur sumber terbuka yang dicipta oleh Twitter dan Cloudera pada 2013 dan diselenggara oleh Apache Software Foundation. Ia menyimpan data mengikut lajur dengan pemampatan kuat dan skema bertaip, jadi alat analitik hanya perlu membaca lajur yang diperlukan. Ia ialah piawaian dalam data lake dan alat seperti Spark, pandas, DuckDB, BigQuery dan Snowflake. Fail Parquet ialah binari dan tidak boleh dibuka dalam penyunting teks atau aplikasi hamparan biasa.
- Pemampatan
- Lossless (tanpa kehilangan)
- Ketelusan
- –
- Animasi
- –
- Diperkenalkan
- 2013 · Apache Software Foundation (from Twitter and Cloudera)
CSV menjadi Parquet apabila fail tidak lagi dibuka oleh manusia tetapi diimbas oleh pertanyaan: eksport harian yang masuk ke data lake, set data yang dikongsi dengan penganalisis, atau log yang ditapis mengikut beberapa lajur sekali gus.
Bersihkan CSV sebelum menukar, bukan selepas: betulkan nama pengepala, buang baris ringkasan di bahagian bawah dan pastikan setiap lajur mengandungi satu jenis nilai. Jika sumbernya sandaran pangkalan data dan bukan CSV, mulakan dengan SQL ke CSV. Semua sasaran lain, daripada JSON hingga SQL, ada di halaman penukar data.
Soalan lazim CSV ke Parquet
Berapa kecil fail Parquet berbanding fail CSV saya?
Bergantung pada data. Lajur dengan banyak nilai berulang, seperti kod negara, status atau tarikh, dimampatkan dengan sangat baik, manakala lajur ID unik atau teks bebas mengecil kurang. Fail Parquet biasanya hanya sebahagian kecil daripada saiz CSV, tetapi tiada nisbah tetap yang wajar dijanjikan.
Alat apakah yang boleh membaca fail .parquet yang ditukar?
pandas dengan read_parquet, Polars, DuckDB dengan SELECT biasa pada nama fail, Apache Spark, dan gudang data awan seperti BigQuery, Snowflake, Amazon Athena dan Redshift Spectrum. Kebanyakannya juga boleh membuat pertanyaan pada satu folder fail Parquet dengan lajur yang sama sebagai satu jadual.
Bagaimanakah jenis lajur ditentukan?
Daripada nilai dalam setiap lajur: nombor bulat, perpuluhan, tarikh dan nilai benar atau palsu mendapat jenis yang sepadan, manakala lajur dengan kandungan bercampur kekal sebagai teks. Semak kod berserta sifar di hadapan, seperti poskod 02134, selepas penukaran, dan kekalkan sebagai teks jika sifar itu perlu dikekalkan.
Bolehkah saya menukar beberapa fail CSV dengan susun atur yang sama?
Ya, sehingga 20 dalam satu kelompok, dan setiap satu menjadi fail .parquet tersendiri. Letakkan dalam satu folder dan DuckDB atau Spark boleh membacanya bersama dengan kad liar seperti sales_*.parquet.
Bagaimanakah cara melihat kandungan fail Parquet tanpa kod?
Excel dan Google Sheets tidak boleh membuka .parquet dengan klik dua kali. Tukarkan semula kepada baris dengan Parquet ke CSV, atau gunakan baris perintah DuckDB jika anda selesa dengan satu pertanyaan SQL.