CSV నుండి Parquet కన్వర్టర్
CSV తయారు చేయడం సులభం, కానీ దానిపై క్వెరీలు నెమ్మదిగా నడుస్తాయి. CSVని అప్‌లోడ్ చేయండి, ప్రతి ఫీల్డ్‌కు కాలమ్ టైప్ ఉన్న Apache Parquet ఫైల్‌ను పొందండి. అది కంప్రెస్ అయి, మీరు లోడ్ చేసే అనలిటిక్స్ టూల్‌కు సిద్ధంగా ఉంటుంది.
డేటా కన్వర్టర్
లేదా CSV, TSV, TXT … ఫైళ్లు ను ఇక్కడ వదలండి ·
ఒక్కో ఫైల్‌కు గరిష్ఠంగా 95 MB· గరిష్ఠంగా 20 ఫైళ్లు· 30 నిమిషాల తర్వాత తొలగించబడతాయి
ఫైళ్లు మా సర్వర్లలో ప్రాసెస్ చేయబడి 30 నిమిషాల తర్వాత తొలగించబడతాయి.
CSV మరియు టెక్స్ట్ ఫైళ్లలో నిలువు వరుసలను వేరు చేసే అక్షరం, చదవడానికి మరియు రాయడానికి రెండింటికీ. ఆటో ఇన్‌పుట్ నుండి దాన్ని గుర్తించి కామాలతో రాస్తుంది.
UTF-8 అన్ని భాషలకు పనిచేస్తుంది. Windowsలో Excel CSVని తెరిచినప్పుడు యాక్సెంట్లు లేదా ఆసియా అక్షరాలు గందరగోళంగా కనిపిస్తే BOMతో UTF-8 ఎంచుకోండి.
Excel, ODS మరియు Numbers ఇన్‌పుట్: మొదటి షీట్‌ను మాత్రమే మార్చండి, లేదా అన్ని షీట్లను (ZIPలో ప్రతి షీట్‌కు ఒక CSV, లేదా ప్రతి షీట్‌కు ఒక JSON కీ).
కొత్త స్ప్రెడ్షీట్లో షీట్ ట్యాబ్ పేరు, గరిష్టంగా 31 అక్షరాలు.
ఆబ్జెక్ట్ల అరే ప్రతి వరుసకు నిలువు వరుసల పేర్లను కీలుగా ఉపయోగిస్తుంది; అరేల అరే మరింత కాంపాక్ట్గా ఉండి, హెడర్ను మొదటి అరేగా ఉంచుతుంది.
అన్ని వరుసలను చుట్టే బయటి ఎలిమెంట్ పేరు; ప్రతి వరుస దానిలో <row>గా మారుతుంది.
CREATE TABLE మరియు INSERT స్టేట్మెంట్లలో ఉపయోగిస్తారు. అక్షరాలు, అంకెలు మరియు అండర్స్కోర్లు మాత్రమే.
డేటాబేస్ల మధ్య కోటింగ్ మరియు కాలమ్ రకాలు కొద్దిగా భిన్నంగా ఉంటాయి; మీరు ఇంపోర్ట్ చేయబోయేదాన్ని ఎంచుకోండి.
తేదీ సెల్లను ఒకే ఫార్మాట్‌లో తిరిగి రాయండి. డేటాబేస్‌లు మరియు కోడ్‌కు ISO (2026-10-18) అత్యంత సురక్షితం; 'యథాతథంగా ఉంచు' మూలంలో ఉన్నట్లే ఉంచుతుంది.
ఈ టూల్‌ను ఎలా ఉపయోగించాలి
- 1
CSV ఫైళ్లను అప్‌లోడ్ చేయండి
ఒక ఎక్స్‌పోర్ట్ ఫైల్‌ను లేదా ఒకే లేఅవుట్ ఉన్న గరిష్టంగా 20 ఫైళ్లను జోడించండి, ఒక్కొక్కటి 95 MB వరకు. డెలిమిటర్ ఆటో డిటెక్ట్‌లో ఉంటే కామాలు, సెమికోలన్లు, ట్యాబ్‌లు, పైప్‌లను గుర్తిస్తుంది.
- 2
హెడర్, తేదీ సెట్టింగ్‌లను అలాగే ఉంచండి
మొదటి వరుస హెడర్ ఆన్‌లో ఉంటే హెడర్ లైన్ కాలమ్ పేర్లుగా మారుతుంది. తేదీలు ISOలో ఉంటుంది, కాబట్టి తేదీ కాలమ్లు ఒకే రూపంలో రాయబడతాయి.
- 3
Parquetగా మార్చండి
Parquetకు మార్చండి నొక్కి, .parquet ఫైల్‌ను pandas, DuckDB, Spark లేదా మీ వేర్‌హౌస్‌లో లోడ్ చేయండి.
డేటా టీమ్‌లు CSVని Parquetగా ఎందుకు మారుస్తాయి
Parquetను 2013లో Twitter, Cloudera ఇంజనీర్లు రూపొందించారు; Google 2010 Dremel పేపర్‌లో వివరించిన కాలమ్నర్ లేఅవుట్ దీనికి ఆధారం, 2015లో ఇది టాప్-లెవల్ Apache ప్రాజెక్ట్ అయింది. ఆలోచన సులభం: CSV లాగా టేబుల్‌ను వరుస వరుసగా నిల్వ చేయకుండా, ఒక కాలమ్లోని అన్ని విలువలను కలిపి నిల్వ చేస్తుంది. నలభై కాలమ్‌లలో మూడు కావాల్సిన క్వెరీ ఆ మూడింటినే చదువుతుంది, పక్కపక్కన ఉన్న సారూప్య విలువలు చాలా బాగా కుదురుతాయి.
అందుకే అనలిస్టులు లోడ్ చేసే ముందు ఎక్స్‌పోర్ట్‌లను మారుస్తారు, డేటా ఇంజనీర్లు సప్లయర్లను CSVకి బదులు Parquet అడుగుతారు, స్కాన్ చేసిన డేటా ప్రకారం ఛార్జ్ చేయగల Amazon Athena, BigQuery వంటి సేవల్లో క్వెరీ చౌకవుతుంది. CSVకి 0042 సంఖ్యో కోడో తెలియదు; Parquet ప్రతి కాలమ్‌కు టైప్ నమోదు చేస్తుంది, కాబట్టి తర్వాతి టూల్ ఊహించనవసరం లేదు.
పెద్ద టేబుల్స్ కోసం Parquet vs CSV vs XLSX
| Parquet | CSV | XLSX | |
|---|---|---|---|
| ఫైల్లో నిల్వ అయ్యే కాలమ్ టైప్లు | yes | no | ప్రతి సెల్‌కు |
| క్వెరీకి కావాల్సిన కాలమ్‌లను మాత్రమే చదువుతుంది | yes | no | no |
| కంప్రెస్ అయి ఉంటుంది | yes | no | yes |
| టెక్స్ట్ ఎడిటర్‌లో చదవవచ్చు | no | yes | no |
| Excelలో డబుల్ క్లిక్తో తెరుచుకుంటుంది | no | yes | yes |
| ఒక ఫైల్లో వరుసలు | స్థిర పరిమితి లేదు | స్థిర పరిమితి లేదు | ఒక్కో షీట్‌కు 1,048,576 |
CSV Parquetగా మారినప్పుడు ఏమి మారుతుంది
మీకు కలిగే ప్రయోజనాలు
- అవసరమైన కాలమ్‌లను మాత్రమే చదివే వేగవంతమైన క్వెరీలు
- నిల్వ చేయడానికి, పంపడానికి చిన్న ఫైళ్లు
- తర్వాతి టూల్ ఊహించకుండా చదివే స్కీమా
- తేదీలు ఒకసారి ISO రూపంలో రాయబడతాయి
గుర్తుంచుకోవాల్సినవి
- స్ప్రెడ్‌షీట్ లేదా టెక్స్ట్ ఎడిటర్‌లో ఎడిట్ చేయలేరు
- సంఖ్యా కాలమ్‌లో ఒక్క తప్పు వల్ల మొత్తం కాలమ్ టెక్స్ట్ కావచ్చు
- ప్రజలు ఇంకా తెరవాల్సి వస్తే CSVను ఉంచుకోండి
CSV, Parquet ఫార్మాట్ వివరాలు
CSV
కామాతో వేరు చేసిన విలువలు
CSV అనేది పట్టికల కోసం ప్లెయిన్-టెక్స్ట్ ఫార్మాట్; ప్రతి లైన్ ఒక వరుస, కామాలు నిలువు వరుసలను వేరు చేస్తాయి. కంప్యూటింగ్ తొలి రోజుల నుంచి వాడుకలో ఉంది, RFC 4180లో వివరించబడింది, అయితే చాలా వేరియంట్లు సెమికోలన్లు లేదా ట్యాబ్‌లు, వేర్వేరు టెక్స్ట్ ఎన్‌కోడింగ్‌లు వాడతాయి. దాదాపు ప్రతి స్ప్రెడ్‌షీట్, డేటాబేస్, అనలిటిక్స్ సాధనం దీన్ని ఇంపోర్ట్, ఎక్స్‌పోర్ట్ చేయగలదు, అందుకే సిస్టమ్‌ల మధ్య డేటా తరలించడానికి ఇదే డిఫాల్ట్ ఫార్మాట్. CSV విలువలను మాత్రమే నిల్వ చేస్తుంది; ఫార్ములాలు, ఫార్మాటింగ్, బహుళ షీట్లు, డేటా రకాలు ఉండవు.
- కంప్రెషన్
- –
- పారదర్శకత
- –
- యానిమేషన్
- –
- పరిచయమైన సంవత్సరం
- –
PARQUET
Apache Parquet
Parquet అనేది 2013లో Twitter, Cloudera రూపొందించిన ఓపెన్-సోర్స్ కాలమ్నార్ స్టోరేజ్ ఫార్మాట్, దీనిని Apache Software Foundation నిర్వహిస్తోంది. ఇది డేటాను కాలమ్ వారీగా, బలమైన కంప్రెషన్, టైప్ చేసిన స్కీమాలతో నిల్వ చేస్తుంది, కాబట్టి అనలిటిక్స్ సాధనాలు అవసరమైన కాలమ్‌లను మాత్రమే చదవగలవు. డేటా లేక్స్‌లో, Spark, pandas, DuckDB, BigQuery, Snowflake వంటి సాధనాల్లో ఇది ప్రమాణం. Parquet ఫైళ్లు బైనరీ, టెక్స్ట్ ఎడిటర్‌లో లేదా సాధారణ స్ప్రెడ్‌షీట్ యాప్‌లో తెరవలేము.
- కంప్రెషన్
- లాస్‌లెస్
- పారదర్శకత
- –
- యానిమేషన్
- –
- పరిచయమైన సంవత్సరం
- 2013 · Apache Software Foundation (from Twitter and Cloudera)
ఫైల్‌ను ప్రజలు తెరిచి చూడటం ఆగి, క్వెరీలు స్కాన్ చేసే స్థితికి వచ్చినప్పుడు CSV Parquet అవుతుంది: డేటా లేక్‌లోకి వచ్చే రోజువారీ ఎక్స్‌పోర్ట్, అనలిస్టులతో పంచుకునే డేటాసెట్ లేదా ఒకేసారి కొన్ని కాలమ్‌లతో ఫిల్టర్ చేసే లాగ్‌లు.
మార్చిన తర్వాత కాకుండా మార్చే ముందే CSVను శుభ్రం చేయండి: హెడర్ పేర్లు సరిచేయండి, చివరి సారాంశ లైన్లు తొలగించండి, ప్రతి కాలమ్‌లో ఒకే రకం విలువలు ఉండేలా చూడండి. మూలం CSV కాకుండా డేటాబేస్ బ్యాకప్ అయితే SQL నుండి CSVతో మొదలుపెట్టండి. JSON నుండి SQL వరకు మిగతా అన్ని లక్ష్యాలు డేటా కన్వర్టర్ పేజీలో ఉన్నాయి.
CSV నుండి Parquet ప్రశ్నలు
Parquet ఫైల్ నా CSV కంటే ఎంత చిన్నదిగా ఉంటుంది?
ఇది డేటాపై ఆధారపడి ఉంటుంది. దేశ కోడ్లు, స్టేటస్లు, తేదీలు వంటి పునరావృత విలువలు ఎక్కువగా ఉన్న కాలమ్లు బాగా కుదురుతాయి, ప్రత్యేక IDలు లేదా ఉచిత టెక్స్ట్ ఉన్న కాలమ్లు తక్కువగా కుదురుతాయి. Parquet ఫైల్ సాధారణంగా CSV సైజ్లో ఒక భాగం మాత్రమే ఉంటుంది, కానీ హామీ ఇవ్వదగిన స్థిర నిష్పత్తి లేదు.
మార్చిన .parquet ఫైల్‌ను ఏ టూల్స్ చదవగలవు?
read_parquetతో pandas, Polars, ఫైల్ పేరుపై సాధారణ SELECTతో DuckDB, Apache Spark, అలాగే BigQuery, Snowflake, Amazon Athena, Redshift Spectrum వంటి క్లౌడ్ వేర్‌హౌస్‌లు. వీటిలో చాలావరకు ఒకే కాలమ్లు ఉన్న Parquet ఫైళ్ల ఫోల్డర్‌ను ఒకే టేబుల్‌గా కూడా క్వెరీ చేయగలవు.
కాలమ్ టైప్లు ఎలా నిర్ణయించబడతాయి?
ప్రతి కాలమ్లోని విలువల నుండి: పూర్ణ సంఖ్యలు, దశాంశాలు, తేదీలు, true లేదా false విలువలకు సరిపోయే టైప్లు వస్తాయి, మిశ్రమ కంటెంట్ ఉన్న కాలమ్ టెక్స్ట్గానే ఉంటుంది. 02134 వంటి ZIP కోడ్ల లాగా ముందు సున్నా ఉన్న కోడ్లను మార్చిన తర్వాత తనిఖీ చేయండి, సున్నా ఉండాలంటే వాటిని టెక్స్ట్గా ఉంచండి.
ఒకే లేఅవుట్ ఉన్న అనేక CSV ఫైళ్లను మార్చవచ్చా?
అవును, ఒక బ్యాచ్లో 20 వరకు, ప్రతిదీ ప్రత్యేక .parquet ఫైల్ అవుతుంది. వాటిని ఒకే ఫోల్డర్లో ఉంచితే DuckDB లేదా Spark sales_*.parquet వంటి వైల్డ్కార్డ్తో కలిపి చదవగలవు.
కోడ్ లేకుండా Parquet ఫైల్లో ఏముందో ఎలా చూడాలి?
Excel, Google Sheetsలో .parquetను డబుల్ క్లిక్తో తెరవలేరు. Parquet నుండి CSVతో తిరిగి వరుసలుగా మార్చండి, లేదా ఒక SQL క్వెరీ రాయడం అలవాటైతే DuckDB కమాండ్ లైన్ ఉపయోగించండి.