حذف الأسطر المكررة

تظهر الأسطر المكررة كلما دُمجت القوائم. مسوّق يجمع قائمتين مُصدَّرتين من البريد الإلكتروني، وباحث يجمع الكلمات المفتاحية من عدة أدوات، ومطوّر يجمع الروابط من ملفات السجل، ومعلّم يلصق الأسماء من ثلاثة نماذج تسجيل: وينتهي كل منهم بعناصر تتكرر مرتين أو أكثر. يمكن لجداول البيانات إزالة التكرارات أيضًا، لكن ذلك يتطلب فتح ملف وتحديد عمود والعثور على القائمة المناسبة؛ أما اللصق في مربع نص فأسرع عندما تكون البيانات في الحافظة أصلًا.

الحفاظ على الترتيب الأصلي أهم مما يبدو. فقائمة الخطوات أو الترتيب التنازلي أو الروابط بحسب ترتيب زحفها تفقد معناها عند فرزها. هنا يبقى أول ظهور في مكانه تمامًا وتُحذف التكرارات اللاحقة فقط، ويعرض عدّاد عدد الأسطر المحذوفة لتتأكد من أن النتيجة منطقية.

يُختزل كل سطر إلى مفتاح مقارنة ويُخزَّن في مجموعة أثناء قراءة القائمة من الأعلى إلى الأسفل؛ والسطر الذي يكون مفتاحه موجودًا في المجموعة هو سطر مكرر. يتم ذلك في مرور واحد، لذا تُعالج القوائم التي تضم مئات الآلاف من الأسطر بسرعة. وهذا يختلف أيضًا عن الأمر الكلاسيكي uniq في يونكس، الذي يزيل التكرارات المتجاورة فقط، ولذلك يُشغَّل عادةً بعد sort فيضيع الترتيب الأصلي. أما تعبير awk الشائع awk '!seen[$0]++' فيؤدي ما تؤديه هذه الأداة.

قد يبدو سطران متطابقين وهما مختلفان. فمسافة في النهاية، أو علامة جدولة بدل المسافة، أو مسافة غير منفصلة منسوخة من صفحة ويب تجعل الحاسوب يعدّهما نصين مختلفين. فعّل خيار قص المسافات لتجاهل المسافات في طرفي كل سطر، بما فيها المسافات غير المنفصلة. وعطّل حساسية حالة الأحرف لاعتبار "Paris" و"paris" عنصرًا واحدًا؛ ويبقى أول شكل كتابة ظهر. يمكن إبقاء الأسطر الفارغة ليظل الفصل بين الفقرات، أو حذفها كليًا.

غالبًا ما تحتاج القائمة بعد إزالة التكرار إلى ترتيب: يمكن لأداة فرز الأسطر ترتيبها أبجديًا أو بالترتيب الطبيعي أو بحسب الطول. وإذا جاءت القائمة من ملف PDF أو رسالة بريد بأسطر مكسورة، فأصلح ذلك أولًا بباقي أدوات النصوص، لأن عنصرًا ملتفًّا على سطرين لا يطابق نظيره غير المكسور.