நகல் வரிகளை நீக்க

பட்டியல்களை இணைக்கும்போதெல்லாம் நகல் வரிகள் தோன்றும். ஏற்றுமதி செய்த இரண்டு மின்னஞ்சல் பட்டியல்களை இணைக்கும் மார்க்கெட்டர், பல கருவிகளிலிருந்து முக்கியச்சொற்களைச் சேகரிக்கும் ஆராய்ச்சியாளர், லாக் கோப்புகளிலிருந்து URL-களைத் திரட்டும் டெவலப்பர், மூன்று பதிவுப் படிவங்களின் பெயர்களை ஒட்டும் ஆசிரியர் என ஒவ்வொருவரிடமும் இரண்டு முறை அல்லது அதற்கு மேல் வரும் உள்ளீடுகள் சேர்ந்துவிடும். ஸ்ப்ரெட்ஷீட்டிலும் நகல்களை நீக்கலாம், ஆனால் கோப்பைத் திறந்து, நெடுவரிசையைத் தேர்ந்தெடுத்து, சரியான மெனுவைத் தேட வேண்டும். தரவு ஏற்கெனவே கிளிப்போர்டில் இருந்தால் உரைப் பெட்டியில் ஒட்டுவது வேகமானது.

அசல் வரிசையைப் பாதுகாப்பது தோன்றுவதைவிட முக்கியம். படிகளின் பட்டியல், தரவரிசை, அல்லது கிராவ்ல் செய்த வரிசையில் உள்ள URL-கள் வரிசைப்படுத்தினால் பொருளிழக்கும். இங்கே முதலில் வரும் வரி இருந்த இடத்திலேயே இருக்கும், பின்வரும் மறுநிகழ்வுகள் மட்டும் நீக்கப்படும். எத்தனை வரிகள் நீக்கப்பட்டன என்பதை கவுண்டர் காட்டுவதால் முடிவு சரியானதா என்று பார்க்கலாம்.

பட்டியலை மேலிருந்து கீழாகப் படிக்கும்போது ஒவ்வொரு வரியும் ஒப்பீட்டு விசையாகச் சுருக்கப்பட்டு ஒரு செட்டில் சேமிக்கப்படும்; அதன் விசை ஏற்கெனவே செட்டில் இருந்தால் அந்த வரி நகல். இது ஒரே சுற்றில் முடிவதால் லட்சக்கணக்கான வரிகள் கொண்ட பட்டியல்களும் விரைவாகக் கையாளப்படும். இது பாரம்பரிய Unix uniq கட்டளையிலிருந்து வேறுபடுகிறது; அது அடுத்தடுத்த வரிகளில் உள்ள நகல்களை மட்டுமே நீக்கும், அதனால் வழக்கமாக sort-க்குப் பிறகு இயக்கப்பட்டு அசல் வரிசை போய்விடும். awk சொற்றொடரான awk '!seen[$0]++' இந்தக் கருவி செய்வதையே செய்கிறது.

இரண்டு வரிகள் ஒரே மாதிரி தெரிந்தாலும் வேறுபடலாம். இறுதியில் உள்ள இடைவெளி, ஸ்பேஸுக்குப் பதிலாக டேப், அல்லது வலைப்பக்கத்திலிருந்து நகலெடுத்த உடையா இடைவெளி ஆகியவை கணினிக்கு அவற்றை வெவ்வேறு சரங்களாக ஆக்கிவிடும். ஒவ்வொரு வரியின் இரு முனைகளிலும் உள்ள இடைவெளிகளை (உடையா இடைவெளிகள் உட்பட) புறக்கணிக்க டிரிம்மிங்கை இயக்கவும். "Paris" மற்றும் "paris" ஆகியவற்றை ஒரே உள்ளீடாகக் கருத எழுத்துரு வேறுபாட்டைப் புறக்கணிக்கும் வசதியை இயக்கவும்; முதலில் காணப்பட்ட எழுத்துப்பிழை வடிவமே இருக்கும். வெற்று வரிகளை வைத்திருந்தால் பத்திகள் பிரிந்தே இருக்கும்; அல்லது முழுவதுமாக நீக்கலாம்.

நகல் நீக்கிய பட்டியலுக்கு அடுத்து பெரும்பாலும் ஒரு வரிசை தேவைப்படும்: வரிகளை வரிசைப்படுத்து அதை அகர வரிசையில், இயல்பு வரிசையில் அல்லது நீளப்படி அடுக்கும். பட்டியல் PDF-இலிருந்தோ உடைந்த வரிகள் கொண்ட மின்னஞ்சலிலிருந்தோ வந்திருந்தால், முதலில் மற்ற உரைக் கருவிகள் மூலம் அவற்றைச் சரிசெய்யுங்கள்; இரண்டு வரிகளாக உடைந்த உள்ளீடு, உடையாத அதன் இணையுடன் பொருந்தாது.