CSV to Parquet மாற்றி
CSV கோப்பை உருவாக்குவது எளிது, ஆனால் அதில் வினவல் இயக்குவது மெதுவாக இருக்கும். CSV-ஐப் பதிவேற்றுங்கள்; ஒவ்வொரு புலத்துக்கும் ஒரு நெடுவரிசை வகையுடன், சுருக்கப்பட்டு, நீங்கள் ஏற்றும் பகுப்பாய்வுக் கருவிக்குத் தயாரான Apache Parquet கோப்பைப் பெறுங்கள்.
டேட்டா மாற்றி
அல்லது CSV, TSV, TXT … கோப்புகள் இங்கே இழுத்து விடவும் ·
ஒரு கோப்புக்கு அதிகபட்சம் 95 MB· அதிகபட்சம் 20 கோப்புகள்· 30 நிமிடங்களுக்குப் பிறகு நீக்கப்படும்
கோப்புகள் எங்கள் சேவையகங்களில் செயலாக்கப்பட்டு 30 நிமிடங்களுக்குப் பிறகு நீக்கப்படும்.
CSV மற்றும் உரை கோப்புகளில் நெடுவரிசைகளைப் பிரிக்கும் எழுத்து; படிக்கவும் எழுதவும் பயன்படும். தானியங்கி என்றால் உள்ளீட்டிலிருந்து கண்டறிந்து, காற்புள்ளியால் எழுதும்.
UTF-8 எல்லா மொழிகளுக்கும் பொருந்தும். Windows-இல் Excel-இல் CSV திறக்கும்போது உச்சரிப்புகள் அல்லது ஆசிய எழுத்துகள் சிதைந்தால் UTF-8 with BOM தேர்ந்தெடுக்கவும்.
Excel, ODS மற்றும் Numbers உள்ளீடு: முதல் தாளை மட்டும் அல்லது எல்லாத் தாள்களையும் மாற்றவும் (ZIP-இல் தாளுக்கு ஒரு CSV, அல்லது தாளுக்கு ஒரு JSON விசை).
புதிய விரிதாளில் தாள் தத்தின் பெயர், அதிகபட்சம் 31 எழுத்துகள்.
பொருள்களின் வரிசை ஒவ்வொரு வரிசைக்கும் நெடுவரிசைப் பெயர்களை விசைகளாகப் பயன்படுத்தும்; வரிசைகளின் வரிசை சுருக்கமானது, தலைப்பை முதல் வரிசையாக வைக்கும்.
எல்லா வரிசைகளையும் சுற்றியிருக்கும் வெளிப்புற உறுப்பின் பெயர்; ஒவ்வொரு வரிசையும் அதனுள் <row> ஆக மாறும்.
CREATE TABLE மற்றும் INSERT கூற்றுகளில் பயன்படும். எழுத்துகள், இலக்கங்கள், அடிக்கோடுகள் மட்டும்.
மேற்கோளிடலும் நெடுவரிசை வகைகளும் தரவுத்தளங்களுக்கிடையே சற்று வேறுபடும்; இறக்குமதி செய்யப்போவதைத் தேர்ந்தெடுக்கவும்.
தேதி கலங்களை ஒரே வடிவில் மாற்றி எழுதவும். தரவுத்தளங்களுக்கும் குறியீட்டிற்கும் ISO (2026-10-18) பாதுகாப்பானது; அப்படியே வை என்றால் மூலத்தில் உள்ளபடி இருக்கும்.
இந்தக் கருவியை எப்படிப் பயன்படுத்துவது
- 1
CSV கோப்புகளைப் பதிவேற்றுங்கள்
ஒரு எக்ஸ்போர்ட் கோப்பை அல்லது ஒரே அமைப்பு கொண்ட 20 கோப்புகள் வரை சேர்க்கவும்; ஒவ்வொன்றும் 95 MB வரை இருக்கலாம். பிரிப்பான் என்பதை Auto detect-இல் வைத்தால் காற்புள்ளி, அரைப்புள்ளி, டேப், பைப் ஆகியவற்றைத் தானாகக் கண்டறியும்.
- 2
தலைப்பு வரி, தேதி அமைப்புகளை அப்படியே வைத்திருங்கள்
முதல் வரிசை தலைப்பு தலைப்பு வரியை நெடுவரிசைப் பெயர்களாக மாற்றும். தேதிகள் ISO-வில் இருப்பதால் தேதி நெடுவரிசைகள் ஒரே சீரான வடிவத்தில் எழுதப்படும்.
- 3
Parquet ஆக மாற்றுங்கள்
Parquet ஆக மாற்று என்பதை அழுத்தி, .parquet கோப்பை pandas, DuckDB, Spark அல்லது உங்கள் வேர்ஹவுஸில் ஏற்றவும்.
தரவுக் குழுக்கள் CSV-ஐ ஏன் Parquet ஆக மாற்றுகின்றன
Parquet 2013-இல் Twitter மற்றும் Cloudera பொறியாளர்களால் உருவாக்கப்பட்டது; Google தனது 2010 Dremel ஆய்வுக்கட்டுரையில் விவரித்த நெடுவரிசை அமைப்பை அது அடிப்படையாகக் கொண்டது, 2015-இல் Apache-இன் உயர்மட்டத் திட்டமானது. கருத்து எளிது: CSV போல அட்டவணையை வரிசை வரிசையாகச் சேமிக்காமல், ஒரு நெடுவரிசையின் அனைத்து மதிப்புகளையும் ஒன்றாகச் சேமிக்கிறது. நாற்பதில் மூன்று நெடுவரிசைகள் தேவைப்படும் வினவல் அந்த மூன்றை மட்டுமே படிக்கும்; அருகருகே இருக்கும் ஒத்த மதிப்புகள் மிக நன்றாகச் சுருங்கும்.
அதனால்தான் பகுப்பாய்வாளர்கள் ஏற்றுவதற்கு முன் எக்ஸ்போர்ட்டுகளை மாற்றுகிறார்கள், டேட்டா இன்ஜினியர்கள் சப்ளையர்களிடம் CSV-க்குப் பதிலாக Parquet கேட்கிறார்கள், ஸ்கேன் செய்த தரவின் அளவுக்குக் கட்டணம் வசூலிக்கக்கூடிய Amazon Athena, BigQuery போன்ற சேவைகளில் வினவல் செலவு குறைகிறது. 0042 என்பது எண்ணா குறியீடா என்பது CSV-க்குத் தெரியாது; Parquet ஒவ்வொரு நெடுவரிசைக்கும் வகையைப் பதிவு செய்வதால் அடுத்த கருவி ஊகிக்க வேண்டியதில்லை.
பெரிய அட்டவணைகளுக்கு Parquet, CSV, XLSX ஒப்பீடு
| Parquet | CSV | XLSX | |
|---|---|---|---|
| கோப்பில் சேமிக்கப்படும் நெடுவரிசை வகைகள் | yes | no | ஒவ்வொரு செல்லுக்கும் |
| வினவலுக்குத் தேவையான நெடுவரிசைகளை மட்டுமே படிக்கும் | yes | no | no |
| சுருக்கப்பட்டது | yes | no | yes |
| டெக்ஸ்ட் எடிட்டரில் படிக்கலாம் | no | yes | no |
| இருமுறை கிளிக் செய்தால் Excel-இல் திறக்கும் | no | yes | yes |
| ஒரு கோப்பிற்கான வரிசைகள் | நிலையான வரம்பு இல்லை | நிலையான வரம்பு இல்லை | ஒரு ஷீட்டுக்கு 1,048,576 |
CSV, Parquet ஆக மாறும்போது என்ன மாறுகிறது
உங்களுக்குக் கிடைப்பவை
- தேவையான நெடுவரிசைகளை மட்டுமே படிக்கும் வேகமான வினவல்கள்
- சேமிக்கவும் நகர்த்தவும் சிறிய கோப்புகள்
- அடுத்த கருவி ஊகிக்காமல் படிக்கும் ஸ்கீமா
- தேதிகள் ISO வடிவில் ஒரே முறையில் எழுதப்படும்
நினைவில் கொள்ள வேண்டியவை
- ஸ்ப்ரெட்ஷீட் அல்லது டெக்ஸ்ட் எடிட்டரில் திருத்த முடியாது
- எண் நெடுவரிசையில் ஒரு எழுத்துப்பிழை முழு நெடுவரிசையையும் உரையாக மாற்றக்கூடும்
- மக்கள் இன்னும் திறக்க வேண்டுமெனில் CSV-ஐ வைத்திருங்கள்
CSV, Parquet வடிவத் தகவல்கள்
CSV
கமாவால் பிரிக்கப்பட்ட மதிப்புகள்
CSV என்பது அட்டவணைகளுக்கான எளிய உரை வடிவம்; ஒவ்வொரு வரியும் ஒரு நிரை, கமாக்கள் நெடுவரிசைகளைப் பிரிக்கின்றன. கணினி யுகத்தின் தொடக்கத்திலிருந்தே பயன்பாட்டில் உள்ளது; RFC 4180-இல் விவரிக்கப்பட்டுள்ளது, எனினும் பல வகைகள் அரைப்புள்ளி அல்லது டேப் மற்றும் வெவ்வேறு உரை குறியாக்கங்களைப் பயன்படுத்துகின்றன. கிட்டத்தட்ட எல்லா ஸ்ப்ரெட்ஷீட், தரவுத்தளம், பகுப்பாய்வு கருவிகளும் இதை இறக்குமதி, ஏற்றுமதி செய்யும்; அமைப்புகளுக்கிடையே தரவை நகர்த்த இயல்புநிலை வடிவமாக இதுவே உள்ளது. CSV மதிப்புகளை மட்டுமே சேமிக்கும்; சூத்திரங்கள், வடிவமைப்பு, பல தாள்கள், தரவு வகைகள் இல்லை.
- சுருக்கம்
- –
- ஒளி ஊடுருவும் தன்மை
- –
- அனிமேஷன்
- –
- அறிமுகமான ஆண்டு
- –
PARQUET
Apache Parquet
Parquet என்பது 2013-இல் Twitter மற்றும் Cloudera உருவாக்கிய, Apache Software Foundation பராமரிக்கும் திறந்த மூல நெடுவரிசை சேமிப்பு வடிவம். தரவை நெடுவரிசை வாரியாக, வலுவான சுருக்கமும் வகைப்படுத்திய திட்டவரைவும் கொண்டு சேமிக்கும்; அதனால் பகுப்பாய்வுக் கருவிகள் தேவையான நெடுவரிசைகளை மட்டும் படிக்கலாம். தரவு ஏரிகளிலும் Spark, pandas, DuckDB, BigQuery, Snowflake போன்ற கருவிகளிலும் இது தரநிலை. Parquet கோப்புகள் பைனரி; உரை எடிட்டரிலோ சாதாரண ஸ்プレட்ஷீட் பயன்பாட்டிலோ திறக்க முடியாது.
- சுருக்கம்
- இழப்பின்றி (Lossless)
- ஒளி ஊடுருவும் தன்மை
- –
- அனிமேஷன்
- –
- அறிமுகமான ஆண்டு
- 2013 · Apache Software Foundation (from Twitter and Cloudera)
ஒரு கோப்பை மக்கள் திறப்பதை நிறுத்தி, வினவல்கள் ஸ்கேன் செய்யும் ஒன்றாக மாறும்போது CSV, Parquet ஆகிறது: டேட்டா லேக்கில் வந்து சேரும் தினசரி எக்ஸ்போர்ட், பகுப்பாய்வாளர்களுடன் பகிரப்படும் தரவுத்தொகுப்பு, அல்லது ஒரு நேரத்தில் சில நெடுவரிசைகளால் வடிகட்டப்படும் லாக்குகள்.
மாற்றிய பின் அல்ல, மாற்றுவதற்கு முன்பே CSV-ஐச் சுத்தம் செய்யுங்கள்: தலைப்புப் பெயர்களைச் சரிசெய்யவும், கீழே உள்ள சுருக்க வரிகளை நீக்கவும், ஒவ்வொரு நெடுவரிசையிலும் ஒரே வகை மதிப்பு இருப்பதை உறுதி செய்யவும். மூலம் CSV அல்லாமல் தரவுத்தள காப்புப்படி என்றால் SQL to CSV மூலம் தொடங்கவும். JSON முதல் SQL வரை மற்ற எல்லா இலக்குகளும் தரவு வடிவ மாற்றி பக்கத்தில் உள்ளன.
CSV to Parquet கேள்விகள்
என் CSV-ஐ விட Parquet கோப்பு எவ்வளவு சிறியதாக இருக்கும்?
அது தரவைப் பொறுத்தது. நாட்டுக் குறியீடுகள், நிலைகள், தேதிகள் போன்ற மீண்டும் வரும் மதிப்புகள் அதிகமுள்ள நெடுவரிசைகள் மிக நன்றாகச் சுருங்கும்; தனித்துவமான ID-கள் அல்லது கட்டற்ற உரை கொண்டவை குறைவாகச் சுருங்கும். Parquet கோப்பு பொதுவாக CSV அளவில் ஒரு சிறு பகுதியாக இருக்கும், ஆனால் உறுதியளிக்கக்கூடிய நிலையான விகிதம் எதுவும் இல்லை.
மாற்றிய .parquet கோப்பை எந்தக் கருவிகள் படிக்கும்?
read_parquet உடன் pandas, Polars, கோப்பின் பெயரில் எளிய SELECT கொண்ட DuckDB, Apache Spark, மேலும் BigQuery, Snowflake, Amazon Athena, Redshift Spectrum போன்ற கிளவுட் வேர்ஹவுஸ்கள். இவற்றில் பெரும்பாலானவை ஒரே நெடுவரிசைகள் கொண்ட Parquet கோப்புகளின் ஃபோல்டரை ஒரே அட்டவணையாகவும் வினவ முடியும்.
நெடுவரிசை வகைகள் எப்படித் தீர்மானிக்கப்படுகின்றன?
ஒவ்வொரு நெடுவரிசையின் மதிப்புகளிலிருந்து: முழு எண்கள், தசமங்கள், தேதிகள், true அல்லது false மதிப்புகளுக்குப் பொருந்தும் வகைகள் கிடைக்கும்; கலவையான உள்ளடக்கம் கொண்ட நெடுவரிசை உரையாகவே இருக்கும். 02134 போன்ற ZIP குறியீடுகள் உள்ளிட்ட முன்னால் பூஜ்ஜியம் உள்ள குறியீடுகளை மாற்றிய பின் சரிபார்க்கவும்; பூஜ்ஜியம் தேவைப்பட்டால் அவற்றை உரையாகவே வைத்திருங்கள்.
ஒரே அமைப்பு கொண்ட பல CSV கோப்புகளை மாற்ற முடியுமா?
ஆம், ஒரு தொகுப்பில் 20 வரை; ஒவ்வொன்றும் தனி .parquet கோப்பாக மாறும். அவற்றை ஒரே ஃபோல்டரில் வைத்தால் DuckDB அல்லது Spark அவற்றை sales_*.parquet போன்ற வைல்டுகார்டுடன் ஒன்றாகப் படிக்க முடியும்.
குறியீடு இல்லாமல் Parquet கோப்பின் உள்ளடக்கத்தை எப்படிப் பார்ப்பது?
Excel மற்றும் Google Sheets-இல் .parquet கோப்பை இருமுறை கிளிக் செய்து திறக்க முடியாது. Parquet to CSV மூலம் மீண்டும் வரிசைகளாக மாற்றவும், அல்லது ஒரு SQL வினவல் எழுத முடிந்தால் DuckDB-இன் கமாண்ட் லைனைப் பயன்படுத்தவும்.