CSV سے Parquet کنورٹر
CSV بنانا آسان ہے مگر اس پر کوئری سست چلتی ہے۔ CSV اپ لوڈ کریں اور ایسی Apache Parquet فائل حاصل کریں جس میں ہر فیلڈ کی کالم ٹائپ موجود ہو، کمپریس شدہ اور اس اینالیٹکس ٹول کے لیے تیار جس میں آپ اسے لوڈ کریں گے۔
ڈیٹا کنورٹر
یا CSV, TSV, TXT … فائلیں یہاں ڈراپ کریں ·
زیادہ سے زیادہ 95 MB فی فائل· 20 فائلوں تک· 30 منٹ بعد حذف
فائلیں ہمارے سرورز پر پروسیس ہوتی ہیں اور 30 منٹ بعد حذف ہو جاتی ہیں۔
وہ حرف جو CSV اور متنی فائلوں میں کالموں کو الگ کرتا ہے، پڑھنے اور لکھنے دونوں کے لیے۔ خودکار اسے ان پٹ سے پہچانتا ہے اور کاما لکھتا ہے۔
UTF-8 ہر زبان کے لیے کام کرتا ہے۔ اگر Windows پر Excel میں CSV کھولنے پر اعراب یا ایشیائی حروف بگڑے نظر آئیں تو BOM کے ساتھ UTF-8 چنیں۔
Excel، ODS اور Numbers ان پٹ: صرف پہلی شیٹ تبدیل کریں، یا تمام شیٹس (ZIP میں ہر شیٹ کی ایک CSV، یا ہر شیٹ کی ایک JSON کی)۔
نئی اسپریڈ شیٹ میں شیٹ ٹیب کا نام، زیادہ سے زیادہ 31 حروف۔
آبجیکٹس کی ارے ہر قطار کے لیے کالم کے ناموں کو کیز بناتی ہے؛ ارے کی ارے زیادہ مختصر ہے اور ہیڈر کو پہلی ارے کے طور پر رکھتی ہے۔
بیرونی ایلیمنٹ کا نام جو تمام قطاروں کو لپیٹتا ہے؛ ہر قطار اس کے اندر <row> بنتی ہے۔
CREATE TABLE اور INSERT اسٹیٹمنٹس میں استعمال ہوتا ہے۔ صرف حروف، ہندسے اور انڈر اسکور۔
کوٹنگ اور کالم کی اقسام ڈیٹابیسز میں تھوڑی مختلف ہوتی ہیں؛ وہ چنیں جس میں امپورٹ کرنا ہے۔
تاریخ کے خانوں کو ایک فارمیٹ میں دوبارہ لکھیں۔ ڈیٹابیسز اور کوڈ کے لیے ISO (2026-10-18) سب سے محفوظ ہے؛ جوں کا توں رکھیں انہیں ماخذ کی طرح چھوڑتا ہے۔
اس ٹول کو استعمال کرنے کا طریقہ
- 1
CSV فائلیں اپ لوڈ کریں
ایک ایکسپورٹ یا ایک ہی ترتیب والی زیادہ سے زیادہ 20 فائلیں شامل کریں، ہر فائل 95 MB تک۔ ڈیلیمیٹر کو Auto detect پر رکھنے سے کومے، سیمی کولن، ٹیب اور پائپ خود پہچان لیے جاتے ہیں۔
- 2
ہیڈر اور تاریخ کی سیٹنگز برقرار رکھیں
پہلی قطار ہیڈر ہے ہیڈر لائن کو کالموں کے نام بنا دیتا ہے۔ تاریخیں ISO پر ہوتی ہیں تاکہ تاریخ والے کالم ایک ہی یکساں شکل میں لکھے جائیں۔
- 3
Parquet میں تبدیل کریں
Parquet میں تبدیل کریں دبائیں اور .parquet فائل کو pandas، DuckDB، Spark یا اپنے ویئر ہاؤس میں لوڈ کریں۔
ڈیٹا ٹیمیں CSV کو Parquet میں کیوں تبدیل کرتی ہیں
Parquet 2013 میں Twitter اور Cloudera کے انجینئرز نے بنایا، جس میں Google کے 2010 کے Dremel مقالے میں بیان کردہ کالمی ترتیب سے استفادہ کیا گیا، اور 2015 میں یہ Apache کا ٹاپ لیول پروجیکٹ بن گیا۔ خیال سادہ ہے: CSV کی طرح ٹیبل کو قطار بہ قطار رکھنے کے بجائے یہ ایک کالم کی تمام قدریں اکٹھی رکھتا ہے۔ چالیس میں سے تین کالم مانگنے والی کوئری صرف وہی تین پڑھتی ہے، اور ساتھ ساتھ رکھی ملتی جلتی قدریں کہیں بہتر کمپریس ہوتی ہیں۔
اسی لیے تجزیہ کار ایکسپورٹ کو لوڈ کرنے سے پہلے بدلتے ہیں، ڈیٹا انجینئر سپلائرز سے CSV کے بجائے Parquet مانگتے ہیں، اور Amazon Athena اور BigQuery جیسی سروسز، جو اسکین کیے گئے ڈیٹا کی مقدار پر چارج کر سکتی ہیں، کوئری کے لیے سستی ہو جاتی ہیں۔ CSV کو یہ بھی معلوم نہیں ہوتا کہ 0042 عدد ہے یا کوڈ؛ Parquet ہر کالم کی قسم درج کرتا ہے، اس لیے اگلے ٹول کو اندازہ نہیں لگانا پڑتا۔
بڑے ٹیبلز کے لیے Parquet، CSV اور XLSX کا موازنہ
| Parquet | CSV | XLSX | |
|---|---|---|---|
| کالم کی اقسام فائل میں محفوظ | yes | no | ہر سیل میں |
| صرف وہ کالم پڑھتا ہے جو کوئری کو چاہییں | yes | no | no |
| کمپریسڈ | yes | no | yes |
| ٹیکسٹ ایڈیٹر میں پڑھنے کے قابل | no | yes | no |
| ڈبل کلک سے Excel میں کھلتی ہے | no | yes | yes |
| فی فائل قطاریں | کوئی مقررہ حد نہیں | کوئی مقررہ حد نہیں | فی شیٹ 1,048,576 |
CSV کے Parquet بننے پر کیا بدلتا ہے
آپ کو کیا فائدہ ہوگا
- تیز کوئریز جو صرف مطلوبہ کالم پڑھتی ہیں
- محفوظ کرنے اور منتقل کرنے کے لیے چھوٹی فائلیں
- ایسا اسکیما جسے اگلا ٹول اندازے کے بجائے پڑھتا ہے
- تاریخیں ایک بار ISO شکل میں لکھی جاتی ہیں
کن باتوں کا خیال رکھیں
- اسپریڈشیٹ یا ٹیکسٹ ایڈیٹر میں ترمیم نہیں ہو سکتی
- عددی کالم میں ایک غلطی پورے کالم کو متن بنا سکتی ہے
- اگر لوگوں کو اب بھی اسے کھولنا ہو تو CSV سنبھال کر رکھیں
CSV اور Parquet فارمیٹ کے حقائق
CSV
کوما سے الگ کی گئی ویلیوز
CSV جدولوں کے لیے سادہ ٹیکسٹ فارمیٹ ہے جس میں ہر لائن ایک قطار ہوتی ہے اور کوما کالموں کو الگ کرتے ہیں۔ یہ کمپیوٹنگ کے ابتدائی دنوں سے استعمال ہو رہا ہے اور RFC 4180 میں بیان کیا گیا ہے، اگرچہ کئی ویریئنٹس سیمی کولن یا ٹیب اور مختلف ٹیکسٹ انکوڈنگز استعمال کرتے ہیں۔ تقریباً ہر اسپریڈ شیٹ، ڈیٹا بیس اور اینالیٹکس ٹول اسے امپورٹ اور ایکسپورٹ کر سکتا ہے، اسی لیے سسٹمز کے درمیان ڈیٹا منتقل کرنے کا یہ طے شدہ فارمیٹ ہے۔ CSV میں صرف ویلیوز ہوتی ہیں؛ فارمولے، فارمیٹنگ، متعدد شیٹس یا ڈیٹا ٹائپس نہیں ہوتیں۔
- کمپریشن
- –
- شفافیت
- –
- اینیمیشن
- –
- متعارف ہونے کا سال
- –
PARQUET
Apache Parquet
Parquet ایک اوپن سورس کالمنر اسٹوریج فارمیٹ ہے جسے Twitter اور Cloudera نے 2013 میں بنایا اور اسے Apache Software Foundation سنبھالتی ہے۔ یہ ڈیٹا کو کالم کے حساب سے مضبوط کمپریشن اور ٹائپڈ اسکیمہ کے ساتھ محفوظ کرتا ہے، لہٰذا اینالیٹکس ٹولز صرف مطلوبہ کالم پڑھ سکتے ہیں۔ یہ ڈیٹا لیکس اور Spark، pandas، DuckDB، BigQuery اور Snowflake جیسے ٹولز میں معیاری ہے۔ Parquet فائلیں بائنری ہوتی ہیں اور ٹیکسٹ ایڈیٹر یا عام اسپریڈشیٹ ایپ میں نہیں کھل سکتیں۔
- کمپریشن
- لاس لیس
- شفافیت
- –
- اینیمیشن
- –
- متعارف ہونے کا سال
- 2013 · Apache Software Foundation (from Twitter and Cloudera)
CSV اس وقت Parquet بنتی ہے جب فائل لوگوں کے کھولنے کی چیز نہیں رہتی بلکہ کوئریز کے اسکین کرنے کی چیز بن جاتی ہے: ڈیٹا لیک میں آنے والی روزانہ کی ایکسپورٹ، تجزیہ کاروں کے ساتھ شیئر کیا گیا ڈیٹا سیٹ، یا ایسے لاگز جو ایک وقت میں چند کالموں سے فلٹر ہوتے ہیں۔
CSV کو تبدیلی کے بعد نہیں بلکہ پہلے صاف کریں: ہیڈر کے نام درست کریں، نیچے کی خلاصہ لائنیں ہٹائیں اور یقینی بنائیں کہ ہر کالم میں ایک ہی قسم کی قدر ہو۔ اگر ماخذ CSV کے بجائے ڈیٹا بیس بیک اپ ہو تو SQL سے CSV سے شروع کریں۔ JSON سے SQL تک باقی تمام اہداف ڈیٹا کنورٹر صفحے پر ہیں۔
CSV سے Parquet کے بارے میں سوالات
Parquet فائل میری CSV سے کتنی چھوٹی ہوگی؟
یہ ڈیٹا پر منحصر ہے۔ جن کالموں میں قدریں بار بار آتی ہیں، جیسے ملک کے کوڈ، اسٹیٹس یا تاریخیں، وہ بہت اچھی طرح کمپریس ہوتے ہیں، جبکہ منفرد ID یا آزاد متن والے کالم کم سکڑتے ہیں۔ Parquet فائل عموماً CSV کے سائز کا ایک چھوٹا حصہ ہوتی ہے، مگر کوئی مقررہ تناسب بتانا درست نہیں۔
تبدیل شدہ .parquet فائل کون سے ٹولز پڑھ سکتے ہیں؟
pandas کے ساتھ read_parquet، Polars، DuckDB (فائل کے نام پر سادہ SELECT کے ذریعے)، Apache Spark، اور کلاؤڈ ویئر ہاؤسز جیسے BigQuery، Snowflake، Amazon Athena اور Redshift Spectrum۔ ان میں سے زیادہ تر ایک جیسے کالموں والی Parquet فائلوں کے فولڈر کو ایک ٹیبل کی طرح بھی کوئری کر سکتے ہیں۔
کالم ٹائپس کیسے طے ہوتی ہیں؟
ہر کالم کی قدروں سے: پورے اعداد، اعشاری اعداد، تاریخیں اور true یا false کی قدروں کو مطابقت رکھنے والی اقسام ملتی ہیں، اور ملا جلا مواد رکھنے والا کالم متن ہی رہتا ہے۔ تبدیلی کے بعد شروع میں صفر والے کوڈ دیکھ لیں، جیسے 02134 جیسے ZIP کوڈ، اور اگر صفر برقرار رکھنا ہو تو انہیں متن ہی رکھیں۔
کیا میں ایک جیسی ساخت والی کئی CSV فائلیں تبدیل کر سکتا ہوں؟
جی ہاں، ایک بیچ میں 20 تک، اور ہر ایک اپنی الگ .parquet فائل بنتی ہے۔ انہیں ایک فولڈر میں رکھیں تو DuckDB یا Spark انہیں sales_*.parquet جیسے وائلڈ کارڈ سے ایک ساتھ پڑھ سکتے ہیں۔
کوڈ کے بغیر Parquet فائل کے اندر کیسے دیکھیں؟
Excel اور Google Sheets .parquet کو ڈبل کلک سے نہیں کھول سکتے۔ اسے Parquet سے CSV کے ذریعے دوبارہ قطاروں میں بدلیں، یا اگر ایک SQL کوئری آپ کے لیے مشکل نہیں تو DuckDB کی کمانڈ لائن استعمال کریں۔