CSV-ni Parquet-ə çevirmək
CSV faylı yaratmaq asandır, amma ona sorğu vermək yavaşdır. CSV faylını yükləyin və hər sahə üçün sütun tipi təyin olunmuş, sıxılmış və istifadə etdiyiniz analitika alətinə yükləməyə hazır Apache Parquet faylı əldə edin.
Məlumat çevirici
və ya CSV, TSV, TXT … faylları bura sürüşdürün ·
Hər fayl üçün maks. 95 MB· 20 fayla qədər· 30 dəqiqədən sonra silinir
Fayllar serverlərimizdə emal olunur və 30 dəqiqədən sonra silinir.
CSV və mətn fayllarında sütunları ayıran simvol, həm oxuma, həm yazma üçün. Avtomatik rejim onu giriş faylından təyin edir və vergül yazır.
UTF-8 bütün dillər üçün işləyir. Windows-da Excel CSV açarkən ştrixli hərflər və ya Asiya simvolları pozulmuş görünürsə, BOM ilə UTF-8 seçin.
Excel, ODS və Numbers girişi: yalnız birinci vərəqi və ya bütün vərəqləri çevirin (ZIP-də hər vərəq üçün bir CSV və ya hər vərəq üçün bir JSON açarı).
Yeni cədvəldə vərəq nişanının adı, ən çox 31 simvol.
Obyektlər massivi hər sətir üçün sütun adlarını açar kimi istifadə edir; massivlər massivi daha yığcamdır və başlığı birinci massiv kimi saxlayır.
Bütün sətirləri əhatə edən xarici elementin adı; hər sətir onun içində <row> olur.
CREATE TABLE və INSERT ifadələrində istifadə olunur. Yalnız hərflər, rəqəmlər və alt xətt.
Dırnaqlama və sütun tipləri verilənlər bazaları arasında bir qədər fərqlənir; idxal edəcəyiniz bazanı seçin.
Tarix xanalarını vahid formatda yenidən yazın. ISO (2026-10-18) verilənlər bazaları və kod üçün ən etibarlısıdır; saxla seçimi onları mənbədəki kimi buraxır.
Bu alətdən necə istifadə etməli
- 1
CSV fayllarını yükləyin
Bir ixrac faylı və ya eyni quruluşlu 20-yə qədər fayl əlavə edin, hər biri 95 MB-a qədər. Ayırıcı Avtomatik aşkarlama rejimində olduqda vergül, nöqtəli vergül, tab və şaquli xətt ayırıcılarını tanıyır.
- 2
Başlıq və tarix ayarlarını saxlayın
Birinci sətir başlıqdır seçimi başlıq sətrini sütun adlarına çevirir. Tarixlər ISO rejimindədir, belə ki, tarix sütunları vahid formada yazılır.
- 3
Parquet-ə çevirin
Parquet formatına çevir düyməsini basın və .parquet faylını pandas, DuckDB, Spark və ya məlumat anbarınıza yükləyin.
Məlumat komandaları CSV-ni niyə Parquet-ə çevirir
Parquet 2013-cü ildə Twitter və Cloudera mühəndisləri tərəfindən yaradılıb, Google-un 2010-cu il Dremel məqaləsində təsvir etdiyi sütunlu quruluşa əsaslanır və 2015-ci ildə Apache-nin üst səviyyəli layihəsi olub. İdeya sadədir: cədvəli CSV kimi sətir-sətir saxlamaq əvəzinə, bir sütunun bütün dəyərlərini bir yerdə saxlayır. Qırx sütundan üçü lazım olan sorğu yalnız o üçünü oxuyur, yanaşı duran oxşar dəyərlər isə daha yaxşı sıxılır.
Buna görə analitiklər ixracları yükləməzdən əvvəl çevirir, verilənlər mühəndisləri təchizatçılardan CSV əvəzinə Parquet istəyir, skan edilən verilənin həcminə görə pul tuta bilən Amazon Athena və BigQuery kimi xidmətlərdə sorğular ucuzlaşır. CSV 0042-nin ədəd, yoxsa kod olduğunu bilmir; Parquet isə hər sütun üçün tip qeyd edir, ona görə növbəti alət təxmin etməli olmur.
Böyük cədvəllər üçün Parquet, CSV və XLSX müqayisəsi
| Parquet | CSV | XLSX | |
|---|---|---|---|
| Sütun tipləri faylda saxlanılır | yes | no | Hər xana üzrə |
| Sorğunun yalnız lazım olan sütunlarını oxuyur | yes | no | no |
| Sıxılmış | yes | no | yes |
| Mətn redaktorunda oxunur | no | yes | no |
| Excel-də cüt klikləmə ilə açılır | no | yes | yes |
| Fayldakı sətir sayı | Sabit limit yoxdur | Sabit limit yoxdur | Hər vərəqdə 1 048 576 |
CSV Parquet-ə çevriləndə nə dəyişir
Nə qazanırsınız
- Yalnız lazım olan sütunları oxuyan daha sürətli sorğular
- Saxlamaq və köçürmək üçün daha kiçik fayllar
- Növbəti alətin təxmin etmək əvəzinə oxuduğu sxem
- Tarixlər ISO formasında vahid yazılır
Nəyi nəzərə almalı
- Cədvəl və ya mətn redaktorunda redaktə olunmur
- Say sütunundakı bir səhv bütün sütunu mətnə çevirə bilər
- İnsanlar hələ də açmalıdırlarsa, CSV-ni saxlayın
CSV və Parquet formatları haqqında faktlar
CSV
Vergüllə ayrılmış dəyərlər
CSV cədvəllər üçün sadə mətn formatıdır: hər sətir bir cərgədir, vergüllər isə sütunları ayırır. İlk kompüter dövründən istifadə olunur və RFC 4180-də təsvir edilib, lakin bir çox variant nöqtəli vergül və ya tabulyasiya və müxtəlif mətn kodlaşdırmalarından istifadə edir. Demək olar ki, hər cədvəl, verilənlər bazası və analitika aləti onu idxal və ixrac edə bilir, bu da onu sistemlər arasında məlumat daşımaq üçün standart format edir. CSV yalnız dəyərləri saxlayır; düstur, formatlaşdırma, çoxsaylı vərəq və məlumat növləri yoxdur.
- Sıxılma
- –
- Şəffaflıq
- –
- Animasiya
- –
- İlk dəfə təqdim edilib
- –
PARQUET
Apache Parquet
Parquet 2013-cü ildə Twitter və Cloudera tərəfindən yaradılmış, Apache Software Foundation tərəfindən dəstəklənən açıq mənbəli sütun əsaslı saxlama formatıdır. Məlumatı güclü sıxma və tipli sxemlərlə sütunlar üzrə saxlayır, beləliklə analitika alətləri yalnız lazım olan sütunları oxuya bilir. Data lake-lərdə və Spark, pandas, DuckDB, BigQuery və Snowflake kimi alətlərdə standartdır. Parquet faylları ikilidir və mətn redaktorunda və ya adi cədvəl tətbiqində açıla bilməz.
- Sıxılma
- İtkisiz
- Şəffaflıq
- –
- Animasiya
- –
- İlk dəfə təqdim edilib
- 2013 · Apache Software Foundation (from Twitter and Cloudera)
Fayl insanların açdığı şey olmaqdan çıxıb sorğuların skan etdiyi şeyə çevriləndə CSV Parquet olur: verilənlər gölünə düşən gündəlik ixrac, analitiklərlə paylaşılan verilənlər toplusu və ya eyni anda bir neçə sütun üzrə süzülən loqlar.
CSV-ni çevirdikdən sonra yox, əvvəl təmizləyin: başlıq adlarını düzəldin, aşağıdakı yekun sətirləri silin və hər sütunda bir növ dəyər olduğundan əmin olun. Mənbə CSV deyil, verilənlər bazası ehtiyat nüsxəsidirsə, SQL-dən CSV-yə ilə başlayın. JSON-dan SQL-ə qədər bütün digər hədəflər məlumat çevirici səhifəsindədir.
CSV-ni Parquet-ə çevirmək haqqında suallar
Parquet faylı CSV-dən nə qədər kiçik olacaq?
Bu, verilənlərdən asılıdır. Ölkə kodları, statuslar və ya tarixlər kimi çoxlu təkrarlanan dəyərləri olan sütunlar çox yaxşı sıxılır, unikal ID-lər və sərbəst mətn sütunları isə daha az kiçilir. Parquet faylı adətən CSV-nin ölçüsünün bir hissəsi qədər olur, lakin söz verməyə dəyər sabit nisbət yoxdur.
Çevrilmiş .parquet faylını hansı alətlər oxuyur?
read_parquet ilə pandas, Polars, fayl adı üzərində sadə SELECT ilə DuckDB, Apache Spark, həmçinin BigQuery, Snowflake, Amazon Athena və Redshift Spectrum kimi bulud anbarları. Onların əksəriyyəti eyni sütunlu Parquet fayllarından ibarət qovluğu bir cədvəl kimi də sorğulaya bilir.
Sütun tipləri necə müəyyən edilir?
Hər sütundakı dəyərlərə görə: tam ədədlər, onluq kəsrlər, tarixlər və doğru/yanlış dəyərlər uyğun tip alır, qarışıq məzmunlu sütun isə mətn olaraq qalır. 02134 kimi ZIP kodları başda sıfır olan kodları çevirdikdən sonra yoxlayın, sıfır qalmalıdırsa, onları mətn kimi saxlayın.
Eyni quruluşlu bir neçə CSV faylını çevirmək olarmı?
Bəli, bir dəstdə 20-yə qədər, hər biri ayrıca .parquet faylı olur. Onları bir qovluğa qoysanız, DuckDB və ya Spark sales_*.parquet kimi şablonla hamısını birlikdə oxuya bilər.
Parquet faylının içinə kodsuz necə baxmaq olar?
Excel və Google Sheets .parquet faylını cüt klikləmə ilə aça bilmir. Onu Parquet-dən CSV-yə vasitəsilə yenidən sətirlərə çevirin və ya bir SQL sorğusu yazmaq sizə rahatdırsa, DuckDB-nin komanda sətrindən istifadə edin.