CSV থেকে Parquet কনভার্টার
CSV তৈরি করা সহজ, কিন্তু কোয়েরি চালাতে সময় লাগে। একটি CSV আপলোড করুন। প্রতিটি ফিল্ডের জন্য নির্দিষ্ট কলাম টাইপসহ কম্প্রেস করা একটি Apache Parquet ফাইল পাবেন, যা আপনার অ্যানালিটিক্স টুলে সরাসরি লোড করা যায়।
ডেটা কনভার্টার
অথবা CSV, TSV, TXT … ফাইল এখানে ড্রop করুন ·
প্রতি ফাইল সর্বোচ্চ 95 MB· সর্বোচ্চ 20টি ফাইল· 30 মিনিট পরে মুছে ফেলা হয়
ফাইল আমাদের সার্ভারে প্রসেস করা হয় এবং 30 মিনিট পরে মুছে ফেলা হয়।
CSV ও টেক্সট ফাইলে কলাম আলাদা করার অক্ষর, পড়া ও লেখা দুই ক্ষেত্রেই প্রযোজ্য। স্বয়ংক্রিয় অপশন ইনপুট থেকে এটি শনাক্ত করে এবং কমা দিয়ে লেখে।
UTF-8 সব ভাষায় কাজ করে। Windows-এর Excel-এ CSV খুললে অ্যাকসেন্ট বা এশীয় অক্ষর এলোমেলো দেখালে BOM সহ UTF-8 বেছে নিন।
Excel, ODS ও Numbers ইনপুটের জন্য: শুধু প্রথম শিট, অথবা সব শিট রূপান্তর করুন (ZIP-এ প্রতি শিটে একটি CSV, বা প্রতি শিটে একটি JSON কী)।
নতুন স্প্রেডশিটে শিট ট্যাবের নাম, সর্বোচ্চ ৩১ অক্ষর।
অবজেক্টের অ্যারেতে প্রতিটি সারিতে কলামের নাম কী হিসেবে থাকে; অ্যারের অ্যারে বেশি সংক্ষিপ্ত এবং হেডার প্রথম অ্যারে হিসেবে থাকে।
সব সারিকে ঘিরে রাখা বাইরের এলিমেন্টের নাম; প্রতিটি সারি এর ভেতরে একটি <row> হয়।
CREATE TABLE ও INSERT স্টেটমেন্টে ব্যবহৃত হয়। শুধু অক্ষর, সংখ্যা ও আন্ডারস্কোর।
কোটিং ও কলামের ধরন ডাটাবেসভেদে সামান্য আলাদা; যে ডাটাবেসে ইমপোর্ট করবেন সেটি বেছে নিন।
তারিখের সেলগুলো একটি ফরম্যাটে পুনরায় লিখুন। ডাটাবেস ও কোডের জন্য ISO (2026-10-18) সবচেয়ে নিরাপদ; “যেমন আছে” রাখলে উৎসের মতোই থাকে।
এই টুল কীভাবে ব্যবহার করবেন
- 1
CSV ফাইলগুলো আপলোড করুন
একটি এক্সপোর্ট ফাইল অথবা একই লেআউটের সর্বোচ্চ ২০টি ফাইল যোগ করুন, প্রতিটি সর্বোচ্চ 95 MB। ডিলিমিটার অটো ডিটেক্টে রাখলে কমা, সেমিকোলন, ট্যাব ও পাইপ নিজে থেকেই শনাক্ত হয়।
- 2
হেডার ও তারিখের সেটিংস যেমন আছে রাখুন
প্রথম সারি হেডার চালু থাকলে হেডার লাইনটি কলামের নাম হয়ে যায়। তারিখ ISO-তে রাখা থাকে, ফলে তারিখের কলামগুলো একই ধরনে লেখা হয়।
- 3
Parquet-এ কনভার্ট করুন
Parquet-এ কনভার্ট করুন চাপুন, তারপর .parquet ফাইলটি pandas, DuckDB, Spark বা আপনার ওয়্যারহাউসে লোড করুন।
ডেটা টিম কেন CSV কে Parquet এ কনভার্ট করে
Parquet তৈরি হয় ২০১৩ সালে Twitter ও Cloudera-র ইঞ্জিনিয়ারদের হাতে, Google ২০১০ সালের Dremel পেপারে যে কলামভিত্তিক বিন্যাস বর্ণনা করেছিল তার ওপর ভিত্তি করে, আর ২০১৫ সালে এটি Apache-এর টপ-লেভেল প্রজেক্ট হয়। ধারণাটি সহজ: CSV যেমন টেবিল সারি ধরে রাখে, তার বদলে এটি এক কলামের সব মান একসাথে রাখে। চল্লিশটি কলামের মধ্যে তিনটি দরকার হলে কোয়েরি শুধু সেই তিনটিই পড়ে, আর পাশাপাশি থাকা একই ধরনের মান অনেক ভালো কমপ্রেস হয়।
সেজন্যই বিশ্লেষকরা লোড করার আগে এক্সপোর্ট কনভার্ট করেন, ডেটা ইঞ্জিনিয়াররা সরবরাহকারীর কাছে CSV-র বদলে Parquet চান, আর স্ক্যান করা ডেটার পরিমাণ অনুযায়ী খরচ ধরা Amazon Athena ও BigQuery-র মতো সার্ভিসে কোয়েরি সস্তা হয়। CSV জানে না 0042 সংখ্যা নাকি কোড; Parquet প্রতিটি কলামের টাইপ রেকর্ড করে, তাই পরের টুলকে আন্দাজ করতে হয় না।
বড় টেবিলের জন্য Parquet, CSV ও XLSX-এর তুলনা
| Parquet | CSV | XLSX | |
|---|---|---|---|
| ফাইলে কলামের টাইপ সংরক্ষিত | yes | no | প্রতি সেলে |
| কোয়েরির দরকারি কলামগুলোই শুধু পড়ে | yes | no | no |
| কমপ্রেসড | yes | no | yes |
| টেক্সট এডিটরে পড়া যায় | no | yes | no |
| ডাবল-ক্লিকে Excel-এ খোলে | no | yes | yes |
| প্রতি ফাইলে সারি | নির্দিষ্ট সীমা নেই | নির্দিষ্ট সীমা নেই | প্রতি শিটে 1,048,576 |
CSV থেকে Parquet হলে কী কী বদলায়
যা সুবিধা পাবেন
- দরকারি কলাম পড়ার কারণে দ্রুত কোয়েরি
- সংরক্ষণ ও স্থানান্তরের জন্য ছোট ফাইল
- স্কিমা থাকায় পরের টুলকে আন্দাজ করতে হয় না
- তারিখ একবারেই ISO ধরনে লেখা
যা মনে রাখবেন
- স্প্রেডশিট বা টেক্সট এডিটরে এডিট করা যায় না
- সংখ্যার কলামে একটি ভুল থাকলে পুরো কলাম টেক্সট হয়ে যেতে পারে
- মানুষকে এখনও খুলতে হলে CSV রেখে দিন
CSV ও Parquet ফরম্যাটের তথ্য
CSV
কমা-বিভক্ত মান (CSV)
CSV হলো টেবিলের জন্য একটি প্লেইন-টেক্সট ফরম্যাট, যেখানে প্রতিটি লাইন একটি সারি এবং কমা কলামগুলো আলাদা করে। কম্পিউটিংয়ের প্রথম দিক থেকেই এটি ব্যবহৃত হচ্ছে এবং RFC 4180-এ বর্ণিত, যদিও অনেক রূপভেদে সেমিকোলন বা ট্যাব এবং ভিন্ন টেক্সট এনকোডিং ব্যবহার হয়। প্রায় প্রতিটি স্প্রেডশিট, ডেটাবেস ও অ্যানালিটিক্স টুল এটি ইমপোর্ট ও এক্সপোর্ট করতে পারে, তাই সিস্টেমের মধ্যে ডেটা সরানোর ডিফল্ট ফরম্যাট এটি। CSV শুধু মান সংরক্ষণ করে; ফর্মুলা, ফরম্যাটিং, একাধিক শিট বা ডেটা টাইপ থাকে না।
- কম্প্রেশন
- –
- স্বচ্ছতা (ট্রান্সপারেন্সি)
- –
- অ্যানিমেশন
- –
- প্রবর্তনের সাল
- –
PARQUET
Apache Parquet
Parquet একটি ওপেন-সোর্স কলামনার স্টোরেজ ফরম্যাট, যা ২০১৩ সালে Twitter ও Cloudera তৈরি করে এবং Apache Software Foundation পরিচালনা করে। এটি ডেটা কলাম অনুযায়ী শক্তিশালী কমপ্রেশন ও টাইপড স্কিমা সহ সংরক্ষণ করে, ফলে অ্যানালিটিক্স টুল শুধু প্রয়োজনীয় কলাম পড়তে পারে। ডেটা লেক এবং Spark, pandas, DuckDB, BigQuery ও Snowflake-এর মতো টুলে এটি স্ট্যান্ডার্ড। Parquet ফাইল বাইনারি, তাই টেক্সট এডিটর বা সাধারণ স্প্রেডশিট অ্যাপে খোলা যায় না।
- কম্প্রেশন
- লসলেস
- স্বচ্ছতা (ট্রান্সপারেন্সি)
- –
- অ্যানিমেশন
- –
- প্রবর্তনের সাল
- 2013 · Apache Software Foundation (from Twitter and Cloudera)
CSV তখন Parquet হয়, যখন ফাইলটি আর মানুষের খোলার জিনিস থাকে না, বরং কোয়েরি স্ক্যান করার জিনিস হয়ে যায়: ডেটা লেকে আসা দৈনিক এক্সপোর্ট, বিশ্লেষকদের সঙ্গে শেয়ার করা ডেটাসেট, বা একবারে কয়েকটি কলাম ধরে ফিল্টার করা লগ।
কনভার্টের পরে নয়, আগেই CSV পরিষ্কার করুন: হেডারের নাম ঠিক করুন, নিচের সারাংশ লাইন সরান এবং প্রতিটি কলামে এক ধরনের মান রাখুন। উৎস CSV না হয়ে ডেটাবেস ব্যাকআপ হলে SQL থেকে CSV দিয়ে শুরু করুন। JSON থেকে SQL পর্যন্ত বাকি সব গন্তব্য ডেটা কনভার্টার পেজে আছে।
CSV থেকে Parquet নিয়ে প্রশ্ন
আমার CSV-এর তুলনায় Parquet ফাইল কতটা ছোট হবে?
এটা ডেটার ওপর নির্ভর করে। যে কলামে একই মান বারবার আসে, যেমন দেশের কোড, স্ট্যাটাস বা তারিখ, তা খুব ভালো কমপ্রেস হয়; আর ইউনিক ID বা ফ্রি টেক্সটের কলাম কম ছোট হয়। Parquet ফাইল সাধারণত CSV-র আকারের একটি ভগ্নাংশ হয়, তবে কোনো নির্দিষ্ট অনুপাতের প্রতিশ্রুতি দেওয়া যায় না।
কনভার্ট করা .parquet ফাইল কোন কোন টুলে খোলা যায়?
pandas-এ read_parquet, Polars, ফাইলের নামে সাধারণ SELECT দিয়ে DuckDB, Apache Spark, এবং BigQuery, Snowflake, Amazon Athena ও Redshift Spectrum-এর মতো ক্লাউড ওয়্যারহাউস। এগুলোর বেশিরভাগই একই কলামের Parquet ফাইলে ভরা একটি ফোল্ডারকেও একটি টেবিলের মতো কোয়েরি করতে পারে।
কলাম টাইপ কীভাবে নির্ধারণ হয়?
প্রতিটি কলামের মান দেখে: পূর্ণসংখ্যা, দশমিক সংখ্যা, তারিখ এবং সত্য বা মিথ্যা মানের জন্য মানানসই টাইপ বসে, আর মিশ্র কনটেন্টের কলাম টেক্সট থাকে। শুরুতে শূন্য থাকা কোড, যেমন 02134-এর মতো ZIP কোড, কনভার্টের পর দেখে নিন; শূন্য রাখতে হলে সেগুলো টেক্সট হিসেবেই রাখুন।
একই কাঠামোর একাধিক CSV ফাইল কি একসাথে কনভার্ট করা যায়?
হ্যাঁ, এক ব্যাচে সর্বোচ্চ ২০টি, এবং প্রতিটি আলাদা .parquet ফাইল হয়। সব একই ফোল্ডারে রাখলে DuckDB বা Spark sales_*.parquet-এর মতো ওয়াইল্ডকার্ড দিয়ে একসাথে পড়তে পারে।
কোড ছাড়া Parquet ফাইলের ভেতরে কী আছে কীভাবে দেখব?
Excel ও Google Sheets ডাবল-ক্লিকে .parquet খুলতে পারে না। Parquet থেকে CSV দিয়ে আবার সারিতে ফিরিয়ে আনুন, অথবা একটি SQL কোয়েরিতে স্বচ্ছন্দ হলে DuckDB-র কমান্ড লাইন ব্যবহার করুন।