ڈپلیکیٹ لائنیں ہٹائیں

فہرستیں ملانے پر ڈپلیکیٹ لائنیں ہر بار سامنے آتی ہیں۔ مارکیٹنگ کرنے والا دو ایکسپورٹ کی گئی ای میل فہرستیں جوڑتا ہے، محقق کئی ٹولز سے کی ورڈز اکٹھے کرتا ہے، ڈیولپر لاگ فائلوں سے URLs جمع کرتا ہے، استاد تین سائن اپ فارموں کے نام پیسٹ کرتا ہے: ہر صورت میں کچھ اندراجات دو یا زیادہ بار آ جاتے ہیں۔ اسپریڈشیٹ بھی ڈپلیکیٹ ہٹا سکتی ہے، لیکن اس کے لیے فائل کھولنی، کالم منتخب کرنا اور صحیح مینو تلاش کرنا پڑتا ہے؛ جب ڈیٹا پہلے ہی کلپ بورڈ میں ہو تو ٹیکسٹ باکس میں پیسٹ کرنا زیادہ تیز ہے۔

اصل ترتیب برقرار رکھنا اس سے زیادہ اہم ہے جتنا لگتا ہے۔ مراحل کی فہرست، رینکنگ یا کرال کی ترتیب میں URLs کو ترتیب دینے سے ان کا مفہوم ختم ہو جاتا ہے۔ یہاں پہلی موجودگی بالکل اپنی جگہ پر رہتی ہے اور بعد کی تکرار صرف حذف ہو جاتی ہے، اور کاؤنٹر بتاتا ہے کہ کتنی لائنیں ہٹائی گئیں تاکہ آپ نتیجے کی معقولیت جانچ سکیں۔

ہر لائن کو موازنے کی کلید میں بدل کر سیٹ میں رکھا جاتا ہے جب فہرست اوپر سے نیچے پڑھی جاتی ہے؛ جس لائن کی کلید پہلے سے سیٹ میں ہو وہ ڈپلیکیٹ ہے۔ اس میں ایک ہی پاس لگتا ہے، اس لیے لاکھوں لائنوں کی فہرستیں بھی جلد نمٹ جاتی ہیں۔ یہ کلاسک Unix کمانڈ uniq سے مختلف ہے، جو صرف ساتھ ساتھ موجود ڈپلیکیٹ ہٹاتی ہے اور اسی لیے عموماً sort کے بعد چلائی جاتی ہے، جس سے اصل ترتیب ختم ہو جاتی ہے۔ awk کا اسلوب awk '!seen[$0]++' وہی کرتا ہے جو یہ ٹول کرتا ہے۔

دو لائنیں ایک جیسی دکھائی دے کر بھی مختلف ہو سکتی ہیں۔ آخر میں اسپیس، اسپیس کی جگہ ٹیب، یا ویب صفحے سے کاپی ہوئی نان بریکنگ اسپیس کی وجہ سے کمپیوٹر انہیں الگ اسٹرنگ سمجھتا ہے۔ ہر لائن کے دونوں سروں کی اسپیس، بشمول نان بریکنگ اسپیس، نظر انداز کرنے کے لیے ٹرمنگ آن کریں۔ "Paris" اور "paris" کو ایک ہی اندراج سمجھنے کے لیے کیس کی حساسیت بند کریں؛ پہلی نظر آنے والی املا برقرار رہتی ہے۔ خالی لائنیں رکھی جا سکتی ہیں تاکہ پیراگراف الگ رہیں، یا مکمل ہٹائی جا سکتی ہیں۔

ڈپلیکیٹ ہٹی ہوئی فہرست کو اکثر اگلے مرحلے میں ترتیب درکار ہوتی ہے: لائنیں ترتیب دیں اسے حروفِ تہجی، قدرتی ترتیب یا لمبائی کے مطابق ترتیب دے سکتا ہے۔ اگر فہرست PDF یا ٹوٹی ہوئی لائنوں والی ای میل سے آئی ہو تو پہلے دیگر ٹیکسٹ ٹولز سے اسے درست کریں، کیونکہ دو لائنوں میں بٹا ہوا اندراج اپنے مکمل جوڑ سے میل نہیں کھا سکتا۔