UltKit

تبدیل Parquet به CSV

فایل ‎.parquet را بدون نصب ابزارهای داده‌ای بخوانید. ستون‌های ذخیره‌شده در آن به‌صورت ردیف‌های ساده CSV نوشته می‌شوند تا صفحه‌گسترده، ابزار BI یا همکارتان بتواند آن را فوراً باز کند.

مبدل داده

یا فایل‌های CSV, TSV, TXT … را اینجا رها کنید ·

حداکثر 95 MB برای هر فایل· تا 20 فایل· حذف پس از 30 دقیقه

خروجی

فایل‌ها روی سرورهای ما پردازش می‌شوند و پس از 30 دقیقه حذف می‌شوند.

نحوه استفاده از این ابزار

  1. 1

    فایل‌های Parquet را بارگذاری کنید

    یک فایل .parquet یا حداکثر ۲۰ فایل part از یک مجموعه‌داده را اضافه کنید؛ حجم هر فایل حداکثر 95 MB باشد.

  2. 2

    تاریخ‌ها و کدگذاری را بررسی کنید

    گزینهٔ تاریخ‌ها روی ISO تنظیم است، پس زمان‌ها به‌صورت 2026-10-18 نوشته می‌شوند، نه عددهای خام. در تنظیمات پیشرفته، برای اکسل اروپایی در جداکننده گزینهٔ نقطه‌ویرگول را انتخاب کنید یا در رمزگذاری متن گزینهٔ UTF-8 با BOM را برگزینید.

  3. 3

    تبدیل به CSV

    روی تبدیل به CSV بزنید و فایل را دانلود کنید. آن را در یک صفحه‌گسترده باز کنید یا در هر جایی که CSV می‌پذیرد بارگذاری کنید.

چه کسانی به Parquet در قالب CSV نیاز دارند

Parquet در سال 2013 به‌عنوان پروژه‌ای مشترک از Twitter و Cloudera و بر پایهٔ ایده‌های record-shredding در مقالهٔ Dremel گوگل شروع شد و در سال 2015 به پروژهٔ سطح‌بالای Apache تبدیل شد. امروز قالب ذخیرهٔ پیش‌فرض data lakeهاست. BigQuery و Snowflake به آن خروجی می‌دهند، Spark به‌طور پیش‌فرض آن را می‌نویسد و Hugging Face Hub مجموعه‌داده‌های عمومی را خودکار به آن تبدیل می‌کند.

این برای مهندس‌ها عالی است و برای بقیه دردسرساز. مدیر محصولی که یک فایل .parquet دریافت می‌کند، پژوهشگری که مجموعه‌داده دانلود می‌کند یا حسابداری که خروجی انبار داده را می‌گیرد، معمولاً ابزاری برای بازکردن آن ندارد. CSV کمترین وجه مشترکی است که هر صفحه‌گسترده و ابزار ورود داده می‌خواند. اگر دریافت‌کنندگان داده ورک‌بوک قالب‌بندی‌شده را ترجیح می‌دهند، CSV را با تبدیل CSV به XLSX ادامه دهید.

Parquet در برابر CSV: ستون‌ها روی دیسک در برابر ردیف‌های متنی

مبدأ

Parquet

دودویی و ستون‌به‌ستون، با طرح‌واره‌ای که در پایین فایل ذخیره شده است.

  • مقدارهای دارای نوع: int64، decimal، timestamp، boolean
  • structها و listهای تو در تو
  • فشرده برای هر ستون و قابل خواندن انتخابی
مناسب برای: انبار داده، Spark، pandas و DuckDB
خروجی

CSV

متن ساده، یک رکورد در هر خط، با مقدارهای جداشده با ویرگول مطابق RFC 4180.

  • همهٔ مقدارها متن‌اند
  • مسطح: یک مقدار در هر سلول
  • در هر صفحه‌گسترده یا ویرایشگری باز می‌شود
مناسب برای: افراد، صفحه‌گسترده‌ها و صفحه‌های ورود داده
from ↓ · to →CSVXLSXJSONParquet
ParquetParquet to CSV: yesParquet to XLSX: yesParquet to JSON: yes– Parquet to Parquet: no
CSV– CSV to CSV: noCSV to XLSX: yesCSV to JSON: yesCSV to Parquet: yes
JSONJSON to CSV: yesJSON to XLSX: yes– JSON to JSON: noJSON to Parquet: yes
supported not offeredهر جفت فهرست‌شده با مبدل داده اجرا می‌شود؛ خط تیره یعنی ورودی و خروجی هم‌فرمت‌اند.

وقتی فایل Parquet به CSV تبدیل می‌شود چه تغییری می‌کند

نوع داده اولین قربانی است. مبلغ decimal(18,2)، شناسهٔ int64 و زمان UTC همه به نویسه تبدیل می‌شوند و هر کس CSV را باز کند خودش تصمیم می‌گیرد چطور دوباره بخواندشان. مثلاً Excel فقط 15 رقم معنادار نشان می‌دهد، پس شناسه‌های 19 رقمی انبار داده را باید به‌صورت متن وارد کرد، نه با دوبار کلیک باز کرد. تفاوت null و رشتهٔ خالی هم از بین می‌رود، چون هر دو به‌صورت فیلد خالی نوشته می‌شوند.

حجم دومین مشکل است. فشرده‌سازی ستونی دلیل کوچک بودن فایل‌های Parquet است؛ متن ساده چنین چیزی ندارد و CSV بزرگ می‌شود. یک برگه در Excel حداکثر 1,048,576 ردیف دارد و جدول‌های بزرگ به‌راحتی از آن می‌گذرند، پس پیش از فرستادن فایل برای کاربر صفحه‌گسترده تعداد ردیف‌ها را بررسی کنید. مقصدهای دیگر، از SQL تا JSON، در صفحهٔ مبدل داده هستند.

مشخصات فرمت‌های Apache Parquet و CSV

PARQUET

Apache Parquet

Parquet یک فرمت ذخیره‌سازی ستونی متن‌باز است که Twitter و Cloudera در سال ۲۰۱۳ ساختند و Apache Software Foundation نگهداری می‌کند. داده‌ها را ستون‌به‌ستون با فشرده‌سازی قوی و طرحواره‌های دارای نوع ذخیره می‌کند، بنابراین ابزارهای تحلیلی می‌توانند فقط ستون‌های لازم را بخوانند. در دریاچه‌های داده و ابزارهایی مانند Spark، pandas، DuckDB، BigQuery و Snowflake استاندارد است. فایل‌های Parquet باینری هستند و در ویرایشگر متن یا برنامه صفحه‌گسترده معمولی باز نمی‌شوند.

فشرده‌سازی
بدون اتلاف
شفافیت
–
انیمیشن
–
سال معرفی
2013 · Apache Software Foundation (from Twitter and Cloudera)
مبدل PARQUET

CSV

مقادیر جداشده با کاما

CSV یک قالب متن ساده برای جدول‌هاست که در آن هر خط یک ردیف است و ستون‌ها با کاما از هم جدا می‌شوند. این قالب از روزهای نخست رایانه استفاده می‌شده و در RFC 4180 توضیح داده شده است، هرچند بسیاری از گونه‌ها از نقطه‌ویرگول یا تب و رمزگذاری‌های متنی متفاوت استفاده می‌کنند. تقریباً هر صفحه‌گسترده، پایگاه داده و ابزار تحلیلی می‌تواند آن را وارد یا صادر کند و به همین دلیل قالب پیش‌فرض انتقال داده بین سیستم‌هاست. CSV فقط مقادیر را ذخیره می‌کند و فرمول، قالب‌بندی، چند برگه یا نوع داده ندارد.

فشرده‌سازی
–
شفافیت
–
انیمیشن
–
سال معرفی
–
مبدل CSV

Parquet وقتی به CSV تبدیل می‌شود که داده از سمت مهندسی بیرون می‌رود: خروجی BigQuery، یک مجموعه‌داده Hugging Face یا یک جدول data lake باید به تحلیل‌گر، تیم مالی یا ابزاری برسد که فقط ردیف‌های متنی را می‌خواند.

پرسش‌های رایج دربارهٔ تبدیل Parquet به CSV

چگونه می‌توان فایل Parquet را بدون Python باز کرد؟

همین‌جا آن را تبدیل کنید و CSV را باز کنید. Excel، Numbers و Google Sheets با دوبار کلیک نمی‌توانند فایل .parquet را بخوانند و راه‌های رایج دیگر، مثل pandas، Spark یا خط فرمان DuckDB، همگی فرض می‌کنند که نصب و اجرای کد برایتان راحت است.

چرا حجم CSV خیلی بیشتر از فایل Parquet است؟

Parquet هر ستون را یک‌جا ذخیره می‌کند، مقدارهای تکراری را فقط یک بار در یک فرهنگ‌لغت کدگذاری می‌کند و نتیجه را معمولاً با Snappy یا Zstandard فشرده می‌کند. CSV در هر ردیف همهٔ مقدارها را کامل و به‌صورت متن می‌نویسد. اینکه CSV چند برابر فایل Parquet مبدأ حجم داشته باشد عادی است؛ پس روی دیسک جا بگذارید و پیش از باز کردن در Excel تعداد ردیف‌ها را بررسی کنید.

ستون‌های تودرتوی struct و list چه می‌شوند؟

یک struct در ستون‌های اضافه با نام‌های نقطه‌دار پخش می‌شود، مثل address.city. یک list به‌صورت متن JSON در یک سلول می‌ماند، چون ردیف CSV نمی‌تواند برای هر رکورد تعداد متفاوتی سلول داشته باشد.

کار Spark من پوشه‌ای از فایل‌های part ساخته است. کدام را بارگذاری کنم؟

همهٔ آن‌ها. Spark، Hive و موتورهای مشابه یک مجموعه‌داده را در فایل‌هایی با نام‌هایی مثل part-00000.parquet تقسیم می‌کنند که هرکدام یک فایل Parquet کامل با همان طرح‌واره است. تا ۲۰ فایل را با هم بارگذاری کنید تا برای هر part یک CSV بگیرید و بعداً آن‌ها را ترکیب کنید.

آیا می‌توانم پس از ویرایش، CSV را دوباره به Parquet تبدیل کنم؟

بله، با تبدیل CSV به Parquet. نوع ستون‌ها دوباره از روی متن تشخیص داده می‌شود، پس بررسی کنید شناسه‌هایی با صفر ابتدایی و مبلغ‌های اعشاری با نوع موردانتظار پایپ‌لاین شما برگردند.