CSV को Parquet में बदलें
CSV बनाना आसान है, पर उस पर क्वेरी चलाना धीमा। CSV अपलोड करें और Apache Parquet फ़ाइल पाएँ, जिसमें हर फ़ील्ड का अपना कॉलम टाइप होगा। फ़ाइल कंप्रेस्ड होगी और आपके एनालिटिक्स टूल में लोड करने के लिए तैयार।
डेटा कन्वर्टर
या CSV, TSV, TXT … फ़ाइलें यहाँ ड्रop करें ·
प्रति फ़ाइल अधिकतम 95 MB· अधिकतम 20 फ़ाइलें· 30 मिनट बाद हटा दी जाती हैं
फ़ाइलें हमारे सर्वर पर प्रोसेस होती हैं और 30 मिनट बाद हटा दी जाती हैं।
वह अक्षर जो CSV और टेक्स्ट फ़ाइलों में कॉलम अलग करता है, पढ़ने और लिखने दोनों के लिए। ऑटो इसे इनपुट से पहचानता है और आउटपुट में कॉमा लिखता है।
UTF-8 हर भाषा के लिए काम करता है। अगर Windows पर Excel में CSV खोलने पर एक्सेंट या एशियाई अक्षर बिगड़े दिखें, तो UTF-8 with BOM चुनें।
Excel, ODS और Numbers इनपुट: सिर्फ़ पहली शीट बदलें, या सभी शीट (ZIP में हर शीट के लिए एक CSV, या हर शीट के लिए एक JSON कुंजी)।
नई स्प्रेडशीट में शीट टैब का नाम, अधिकतम 31 अक्षर।
ऑब्जेक्ट्स का ऐरे हर पंक्ति के लिए कॉलम नामों को कुंजी बनाता है; ऐरे का ऐरे ज़्यादा कॉम्पैक्ट है और हेडर को पहले ऐरे में रखता है।
बाहरी एलिमेंट का नाम जिसमें सभी पंक्तियाँ रहती हैं; हर पंक्ति इसके अंदर एक <row> बन जाती है।
CREATE TABLE और INSERT स्टेटमेंट में इस्तेमाल होता है। सिर्फ़ अक्षर, अंक और अंडरस्कोर।
कोटिंग और कॉलम टाइप डेटाबेस के हिसाब से थोड़े अलग होते हैं; वही चुनें जिसमें आप इम्पोर्ट करेंगे।
तारीख़ वाले सेल एक ही फ़ॉर्मैट में दोबारा लिखें। डेटाबेस और कोड के लिए ISO (2026-10-18) सबसे सुरक्षित है; "जैसा है वैसा रखें" उन्हें स्रोत जैसा ही रहने देता है।
इस टूल का उपयोग कैसे करें
- 1
CSV फ़ाइलें अपलोड करें
एक एक्सपोर्ट फ़ाइल जोड़ें या एक जैसे लेआउट वाली 20 फ़ाइलें तक, हर एक 95 MB तक की। डिलिमिटर को Auto detect पर रखने से कॉमा, सेमीकोलन, टैब और पाइप अपने आप पहचान लिए जाते हैं।
- 2
हेडर और तारीख की सेटिंग वैसी ही रखें
पहली पंक्ति हेडर है चालू करने पर हेडर की लाइन कॉलम के नाम बन जाती है। तारीखें ISO पर सेट है, ताकि तारीख वाले कॉलम एक ही फ़ॉर्मेट में लिखे जाएँ।
- 3
Parquet में कन्वर्ट करें
Parquet में बदलें दबाएँ और .parquet फ़ाइल को pandas, DuckDB, Spark या अपने वेयरहाउस में लोड करें।
डेटा टीमें CSV को Parquet में क्यों बदलती हैं
Parquet को 2013 में Twitter और Cloudera के इंजीनियरों ने बनाया, Google के 2010 के Dremel पेपर में बताए कॉलमनर लेआउट के आधार पर, और 2015 में यह Apache का टॉप-लेवल प्रोजेक्ट बन गया। विचार सरल है: CSV की तरह टेबल को पंक्ति-दर-पंक्ति रखने के बजाय यह एक कॉलम की सभी वैल्यू को साथ रखता है। चालीस में से तीन कॉलम चाहिए तो क्वेरी सिर्फ़ वही तीन पढ़ती है, और पास-पास रखी मिलती-जुलती वैल्यू कहीं बेहतर कंप्रेस होती हैं।
इसीलिए एनालिस्ट एक्सपोर्ट को लोड करने से पहले कन्वर्ट करते हैं, डेटा इंजीनियर सप्लायर से CSV की जगह Parquet माँगते हैं, और Amazon Athena व BigQuery जैसी सेवाएँ, जो स्कैन किए गए डेटा के हिसाब से चार्ज कर सकती हैं, क्वेरी करने में सस्ती पड़ती हैं। CSV को यह भी पता नहीं होता कि 0042 संख्या है या कोड; Parquet हर कॉलम का टाइप दर्ज करता है, इसलिए अगले टूल को अंदाज़ा नहीं लगाना पड़ता।
बड़ी टेबल के लिए Parquet, CSV और XLSX की तुलना
| Parquet | CSV | XLSX | |
|---|---|---|---|
| कॉलम के टाइप फ़ाइल में सेव रहते हैं | yes | no | हर सेल के हिसाब से |
| क्वेरी को जो कॉलम चाहिए, सिर्फ़ वही पढ़ता है | yes | no | no |
| कंप्रेस्ड | yes | no | yes |
| टेक्स्ट एडिटर में पढ़ा जा सकता है | no | yes | no |
| Excel में डबल-क्लिक से खुलता है | no | yes | yes |
| प्रति फ़ाइल पंक्तियाँ | कोई तय सीमा नहीं | कोई तय सीमा नहीं | प्रति शीट 1,048,576 |
CSV के Parquet बनने पर क्या बदलता है
आपको क्या फ़ायदा मिलता है
- तेज़ क्वेरी, जो सिर्फ़ ज़रूरी कॉलम पढ़ती हैं
- स्टोर करने और भेजने के लिए छोटी फ़ाइलें
- ऐसा स्कीमा जिसे अगला टूल अंदाज़े के बजाय सीधे पढ़ लेता है
- तारीखें एक बार ISO फ़ॉर्मेट में लिखी जाती हैं
किन बातों का ध्यान रखें
- स्प्रेडशीट या टेक्स्ट एडिटर में एडिट नहीं हो सकती
- संख्या वाले कॉलम में एक गलती पूरे कॉलम को टेक्स्ट बना सकती है
- अगर लोगों को अब भी CSV खोलनी है तो उसे सँभालकर रखें
CSV और Parquet फॉर्मेट की जानकारी
CSV
कॉमा-सेपरेटेड वैल्यू
CSV टेबल के लिए एक सादा टेक्स्ट फ़ॉर्मैट है, जिसमें हर लाइन एक पंक्ति होती है और कॉमा कॉलम को अलग करते हैं। यह कंप्यूटिंग के शुरुआती दिनों से इस्तेमाल हो रहा है और RFC 4180 में वर्णित है, हालाँकि कई वेरिएंट सेमीकोलन या टैब और अलग-अलग टेक्स्ट एन्कोडिंग का उपयोग करते हैं। लगभग हर स्प्रेडशीट, डेटाबेस और एनालिटिक्स टूल इसे इम्पोर्ट और एक्सपोर्ट कर सकता है, इसलिए सिस्टम के बीच डेटा ले जाने के लिए यही डिफ़ॉल्ट फ़ॉर्मैट है। CSV में सिर्फ़ वैल्यू रहती हैं; फ़ॉर्मूला, फ़ॉर्मैटिंग, कई शीट या डेटा टाइप नहीं।
- कंप्रेशन
- –
- ट्रांसपेरेंसी (पारदर्शिता)
- –
- एनिमेशन
- –
- शुरुआत का वर्ष
- –
PARQUET
Apache Parquet
Parquet एक ओपन-सोर्स कॉलमनर स्टोरेज फ़ॉर्मैट है, जिसे Twitter और Cloudera ने 2013 में बनाया और जिसे Apache Software Foundation संभालता है। यह डेटा को कॉलम के हिसाब से, मज़बूत कंप्रेशन और टाइप्ड स्कीमा के साथ रखता है, इसलिए एनालिटिक्स टूल सिर्फ़ ज़रूरी कॉलम पढ़ सकते हैं। यह डेटा लेक और Spark, pandas, DuckDB, BigQuery व Snowflake जैसे टूल में मानक है। Parquet फ़ाइलें बाइनरी होती हैं और टेक्स्ट एडिटर या सामान्य स्प्रेडशीट ऐप में नहीं खुल सकतीं।
- कंप्रेशन
- लॉसलेस
- ट्रांसपेरेंसी (पारदर्शिता)
- –
- एनिमेशन
- –
- शुरुआत का वर्ष
- 2013 · Apache Software Foundation (from Twitter and Cloudera)
CSV तब Parquet बनती है जब फ़ाइल को लोग खोलकर देखना बंद कर दें और क्वेरी उसे स्कैन करने लगें: डेटा लेक में रोज़ आने वाला एक्सपोर्ट, एनालिस्ट के साथ साझा किया गया डेटासेट, या ऐसे लॉग जिन्हें एक बार में कुछ ही कॉलम से फ़िल्टर किया जाता है।
CSV को कन्वर्ट करने के बाद नहीं, पहले ही साफ़ करें: हेडर के नाम ठीक करें, नीचे की सारांश वाली लाइनें हटाएँ और देखें कि हर कॉलम में एक ही तरह की वैल्यू हो। अगर स्रोत CSV नहीं बल्कि डेटाबेस बैकअप है, तो SQL से CSV से शुरू करें। JSON से SQL तक बाकी सभी टारगेट डेटा कन्वर्टर पेज पर हैं।
CSV को Parquet में बदलने से जुड़े सवाल
Parquet फ़ाइल मेरी CSV से कितनी छोटी होगी?
यह डेटा पर निर्भर करता है। जिन कॉलम में एक ही वैल्यू बार-बार आती है, जैसे देश के कोड, स्टेटस या तारीखें, वे बहुत अच्छी तरह कंप्रेस होते हैं, जबकि यूनिक ID या खुले टेक्स्ट वाले कॉलम कम घटते हैं। Parquet फ़ाइल आमतौर पर CSV के साइज़ का एक छोटा हिस्सा होती है, लेकिन कोई तय अनुपात बताना सही नहीं होगा।
कन्वर्ट की गई .parquet फ़ाइल कौन-से टूल पढ़ सकते हैं?
pandas में read_parquet, Polars, DuckDB में फ़ाइल के नाम पर सीधा SELECT, Apache Spark, और BigQuery, Snowflake, Amazon Athena व Redshift Spectrum जैसे क्लाउड वेयरहाउस। इनमें से ज़्यादातर एक जैसे कॉलम वाली Parquet फ़ाइलों के पूरे फ़ोल्डर को एक टेबल की तरह भी क्वेरी कर सकते हैं।
कॉलम टाइप कैसे तय होते हैं?
हर कॉलम की वैल्यू देखकर: पूर्ण संख्याओं, दशमलव, तारीखों और true/false वैल्यू को उनके अनुसार टाइप मिलता है, और मिली-जुली सामग्री वाला कॉलम टेक्स्ट ही रहता है। शुरू में शून्य वाले कोड, जैसे 02134 जैसे ZIP कोड, कन्वर्ट करने के बाद जाँच लें, और अगर शून्य रखना ज़रूरी है तो उन्हें टेक्स्ट ही रखें।
क्या एक जैसे लेआउट वाली कई CSV फ़ाइलें एक साथ कन्वर्ट कर सकते हैं?
हाँ, एक बैच में 20 तक, और हर एक की अलग .parquet फ़ाइल बनती है। उन्हें एक फ़ोल्डर में रखें तो DuckDB या Spark उन्हें sales_*.parquet जैसे वाइल्डकार्ड से एक साथ पढ़ सकते हैं।
बिना कोड के Parquet फ़ाइल के अंदर का डेटा कैसे देखें?
Excel और Google Sheets में .parquet डबल-क्लिक से नहीं खुलती। इसे Parquet से CSV से वापस पंक्तियों में बदलें, या एक SQL क्वेरी चलाने में आसानी हो तो DuckDB की कमांड लाइन इस्तेमाल करें।