Təkrarlanan sətirləri silmək

Təkrarlanan sətirlər siyahılar birləşdirildikdə ortaya çıxır. İki ixrac olunmuş e-poçt siyahısını birləşdirən marketoloq, açar sözləri bir neçə alətdən toplayan tədqiqatçı, log fayllarından URL yığan developer, üç qeydiyyat formasından adları yapışdıran müəllim: hər birində iki dəfə və ya daha çox təkrarlanan qeydlər qalır. Cədvəllər də təkrarları silə bilər, lakin bunun üçün fayl açmaq, sütun seçmək və düzgün menyunu tapmaq lazımdır; məlumat artıq mübadilə buferindədirsə, mətn xanasına yapışdırmaq daha sürətlidir.

İlkin sıranı saxlamaq göründüyündən daha vacibdir. Addımlar siyahısı, reytinq və ya taranma ardıcıllığı ilə düzülmüş URL-lər çeşidlənəndə mənasını itirir. Burada ilk rast gəlinən sətir olduğu yerdə qalır, sonrakı təkrarlar isə sadəcə silinir; sayğac neçə sətrin silindiyini göstərir ki, nəticənin məntiqli olub-olmadığını görəsiniz.

Siyahı yuxarıdan aşağı oxunarkən hər sətir müqayisə açarına çevrilir və çoxluqda saxlanılır; açarı çoxluqda artıq olan sətir təkrardır. Bunun üçün bir keçid kifayətdir, ona görə yüz minlərlə sətirdən ibarət siyahılar tez emal olunur. Bu, klassik Unix uniq əmrindən də fərqlənir: həmin əmr yalnız qonşu sətirlərdəki təkrarları silir, buna görə adətən sort-dan sonra işlədilir və ilkin sıra itir. awk '!seen[$0]++' awk ifadəsi bu alətin gördüyü işi görür.

İki sətir eyni görünsə də fərqli ola bilər. Sondakı boşluq, boşluq əvəzinə tabulyasiya və ya veb səhifədən köçürülmüş sınmayan boşluq kompüterin onları fərqli sətir saymasına səbəb olur. Hər sətrin hər iki ucundakı boşluqları, o cümlədən sınmayan boşluqları nəzərə almamaq üçün kəsməni aktiv edin. "Paris" və "paris" sözlərini eyni qeyd saymaq üçün böyük-kiçik hərf fərqini söndürün; saxlanılan ilk rast gəlinən yazılış olur. Boş sətirləri saxlamaq olar ki, abzaslar ayrı qalsın, ya da tamamilə silmək olar.

Təkrarsız siyahı çox vaxt sonra sıralanmalı olur: Sətirləri sırala onu əlifba, təbii sıra və ya uzunluq üzrə düzə bilər. Siyahı PDF-dən və ya sətirləri qırılmış e-poçtdan gəlibsə, əvvəlcə digər mətn alətləri ilə onları düzəldin, çünki iki sətrə bölünmüş qeyd bütöv əkiziylə üst-üstə düşə bilməz.