డూప్లికేట్ లైన్లు తీసివేయడం
జాబితాను పేస్ట్ చేయండి: ప్రతి లైన్ మొదటిసారి కనిపించిన తర్వాత వచ్చే దాని పునరావృతాలన్నీ తొలగిపోతాయి, మిగిలిన లైన్లు వాటి అసలు క్రమంలోనే ఉంటాయి. పోల్చేటప్పుడు అక్షరాల కేస్ను, అదనపు ఖాళీలను విస్మరించవచ్చు, ఇదంతా మీ బ్రౌజర్‌లోనే జరుగుతుంది.
0 అక్షరాలు · 0 పదాలు · 0 లైన్లు
0 అక్షరాలు · 0 పదాలు · 0 లైన్లు
ఇది పూర్తిగా ఈ బ్రౌజర్ ట్యాబ్‌లోనే నడుస్తుంది. మీ టెక్స్ట్ అప్‌లోడ్ లేదా నిల్వ చేయబడదు.
ఇది ఏం చేస్తుంది
డూప్లికేట్ లైన్లు తొలగించండి ప్రతి లైన్ మొదటి రూపాన్ని ఉంచి, తర్వాతి పునరావృత్తులను తొలగిస్తుంది; అసలు క్రమం మారదు. సరిపోలిక అక్షరాల కేస్ను, చుట్టూ ఉన్న స్పేస్‌లను విస్మరించగలదు, ఖాళీ లైన్లను ఉంచవచ్చు లేదా తొలగించవచ్చు.
red blue Red green
red blue green
జాబితాల నుండి డూప్లికేట్లు ఎవరు, ఎందుకు తీసివేస్తారు
జాబితాలను కలిపినప్పుడల్లా డూప్లికేట్ లైన్లు వస్తాయి. ఎగుమతి చేసిన రెండు ఈమెయిల్ జాబితాలను కలిపే మార్కెటర్, పలు టూల్స్ నుండి కీవర్డ్‌లు సేకరించే పరిశోధకుడు, లాగ్ ఫైళ్ల నుండి URLలు సేకరించే డెవలపర్, మూడు సైన్-అప్ ఫారమ్‌ల నుండి పేర్లను పేస్ట్ చేసే ఉపాధ్యాయుడు: అందరికీ రెండుసార్లు లేదా అంతకంటే ఎక్కువసార్లు వచ్చే ఎంట్రీలు ఉంటాయి. స్ప్రెడ్‌షీట్‌లు కూడా డూప్లికేట్లను తొలగించగలవు, కానీ దానికి ఫైల్ తెరిచి, కాలమ్ ఎంచుకుని, సరైన మెనూను వెతకాలి; డేటా ఇప్పటికే క్లిప్‌బోర్డ్‌లో ఉన్నప్పుడు టెక్స్ట్ బాక్స్‌లో పేస్ట్ చేయడం వేగంగా ఉంటుంది.
అసలు క్రమాన్ని కాపాడటం కనిపించే దానికంటే ముఖ్యం. దశల జాబితా, ర్యాంకింగ్ లేదా క్రాల్ చేసిన క్రమంలో ఉన్న URLలను సార్ట్ చేస్తే వాటి అర్థం పోతుంది. ఇక్కడ మొదటిసారి కనిపించిన లైన్ ఉన్న చోటే ఉంటుంది, తర్వాతి పునరావృత్తులు మాత్రమే తొలగిపోతాయి, ఎన్ని లైన్లు తొలగించారో కౌంటర్ చూపిస్తుంది, కాబట్టి ఫలితం సరైనదేనా అని చూసుకోవచ్చు.
పోలిక ఎలా పనిచేస్తుంది, కంటికి కనిపించని తేడాలు
జాబితాను పై నుండి కిందికి చదువుతూ ప్రతి లైన్‌ను పోలిక కీగా మార్చి ఒక సెట్‌లో నిల్వ చేస్తారు; కీ ఇప్పటికే సెట్‌లో ఉన్న లైన్ డూప్లికేట్. ఇది ఒకే పాస్‌లో జరుగుతుంది, కాబట్టి వందల వేల లైన్ల జాబితాలు కూడా త్వరగా పూర్తవుతాయి. ఇది క్లాసిక్ Unix uniq కమాండ్కు భిన్నం; అది పక్కపక్కనే ఉన్న డూప్లికేట్లను మాత్రమే తొలగిస్తుంది, అందుకే సాధారణంగా sort తర్వాత నడుపుతారు, దాంతో అసలు క్రమం పోతుంది. awk ఇడియమ్ awk '!seen[$0]++' ఈ టూల్ చేసే పనినే చేస్తుంది.
రెండు లైన్లు ఒకేలా కనిపించినా భిన్నంగా ఉండవచ్చు. చివర ఉన్న స్పేస్, స్పేస్ బదులు ట్యాబ్, లేదా వెబ్ పేజీ నుండి కాపీ చేసిన నాన్-బ్రేకింగ్ స్పేస్ ఉంటే కంప్యూటర్ వాటిని వేర్వేరు స్ట్రింగ్‌లుగా చూస్తుంది. ప్రతి లైన్ రెండు చివరల్లోని స్పేస్‌లను (నాన్-బ్రేకింగ్ స్పేస్‌లతో సహా) విస్మరించడానికి ట్రిమ్మింగ్ ఆన్ చేయండి. "Paris", "paris" ఒకటేనని భావించడానికి కేస్ సెన్సిటివిటీని ఆఫ్ చేయండి; మొదట కనిపించిన స్పెల్లింగ్ ఉంచబడుతుంది. ఖాళీ లైన్లను ఉంచితే పేరాలు వేరుగా ఉంటాయి, లేదా పూర్తిగా తొలగించవచ్చు.
శుభ్రం చేసిన తర్వాత
డూప్లికేట్లు తొలగించిన జాబితాకు తరచుగా తర్వాత ఒక క్రమం అవసరం: లైన్లను సార్ట్ చేయండి దాన్ని అక్షరక్రమంలో, సహజ క్రమంలో లేదా పొడవు ప్రకారం అమర్చగలదు. జాబితా PDF నుండి లేదా లైన్లు తెగిన ఈమెయిల్ నుండి వచ్చినట్లయితే, ముందుగా ఇతర టెక్స్ట్ టూల్స్తో వాటిని సరిచేయండి, ఎందుకంటే రెండు లైన్లుగా విడిపోయిన ఎంట్రీ, అదే ఎంట్రీ పూర్తి రూపంతో సరిపోలదు.
తరచుగా అడిగే ప్రశ్నలు
- డూప్లికేట్ లైన్లో ఏ కాపీ మిగులుతుంది?
- మొదటిది. అదే కంటెంట్ ఉన్న తర్వాతి ప్రతి లైన్ తొలగించబడుతుంది, మిగిలిన లైన్లు అసలు క్రమంలోనే ఉంటాయి, కాబట్టి ఏదీ మారదు.
- ఒకేలా కనిపించే రెండు లైన్లు ఎందుకు తొలగిపోవు?
- అవి కనిపించని విధంగా భిన్నంగా ఉంటాయి, చాలాసార్లు చివర స్పేస్, ట్యాబ్ లేదా నాన్-బ్రేకింగ్ స్పేస్. ట్రిమ్ ఎంపికను ఆన్ చేయండి, లేదా క్యాపిటలైజేషన్ మాత్రమే తేడా అయితే కేస్ను విస్మరించండి.
- ఇది uniq కమాండ్కు ఎలా భిన్నం?
- uniq ఒక లైన్ నేరుగా పైన ఉన్న లైన్నే పునరావృతం చేస్తేనే తొలగిస్తుంది, అందుకే దాన్ని సాధారణంగా sortతో జత చేస్తారు. ఈ టూల్ టెక్స్ట్లో ఎక్కడైనా ఉన్న పునరావృత్తులను కనుగొని అసలు క్రమాన్ని ఉంచుతుంది.
- డూప్లికేట్లు తీసివేస్తూనే జాబితాను క్రమబద్ధీకరించవచ్చా?
- ఇక్కడ డూప్లికేట్లను తొలగించి, ఫలితాన్ని లైన్లను సార్ట్ చేసే టూల్లో పేస్ట్ చేయండి. రెండు దశల్లో చేస్తే అవసరమైనప్పుడు మొదట కనిపించిన క్రమాన్ని ఉంచవచ్చు, కావాలనుకున్నప్పుడే సార్ట్ చేయవచ్చు.