Tekrarlanan Satırları Silme

Listeler birleştirildiğinde yinelenen satırlar kaçınılmaz olarak ortaya çıkar. İki e-posta listesini birleştiren bir pazarlamacı, anahtar kelimeleri birkaç araçtan toplayan bir araştırmacı, günlük dosyalarından URL derleyen bir geliştirici, üç kayıt formundaki isimleri yapıştıran bir öğretmen: hepsinin elinde iki ya da daha fazla kez geçen kayıtlar kalır. Elektronik tablolar da yinelenenleri kaldırabilir, ancak bunun için dosya açmak, bir sütun seçmek ve doğru menüyü bulmak gerekir; veri zaten panodaysa bir metin kutusuna yapıştırmak daha hızlıdır.

Özgün sırayı korumak göründüğünden daha önemlidir. Adım listesi, bir sıralama ya da taranma sırasına göre dizilmiş URL'ler sıralandığında anlamını yitirir. Burada bir satırın ilk geçtiği yer olduğu gibi kalır, sonraki tekrarlar ise silinir. Bir sayaç kaç satırın kaldırıldığını gösterir; böylece sonucun makul olup olmadığını görebilirsiniz.

Her satır bir karşılaştırma anahtarına indirgenir ve liste baştan sona okunurken bir kümede saklanır; anahtarı kümede zaten bulunan satır yinelenen satırdır. Bu işlem tek geçişte biter, bu yüzden yüz binlerce satırlık listeler hızla işlenir. Klasik Unix uniq komutundan da farklıdır: o yalnızca yan yana duran yinelenenleri kaldırır, bu nedenle genellikle sort sonrasında çalıştırılır ve özgün sıra kaybolur. awk '!seen[$0]++' deyimi bu aracın yaptığı işi yapar.

İki satır aynı görünüp yine de farklı olabilir. Sondaki bir boşluk, boşluk yerine sekme ya da bir web sayfasından kopyalanan bölünmez boşluk, bilgisayarın onları farklı metinler saymasına yol açar. Her satırın iki ucundaki boşlukları (bölünmez boşluklar dahil) yok saymak için kırpma seçeneğini açın. "Paris" ve "paris" aynı kayıt sayılsın istiyorsanız büyük/küçük harf duyarlılığını kapatın; bu durumda ilk görülen yazım korunur. Boş satırlar paragrafların ayrı kalması için tutulabilir ya da tamamen kaldırılabilir.

Yinelenenleri temizlenmiş bir listenin sıradaki ihtiyacı çoğunlukla sıralamadır: Satırları Sırala aracı listeyi alfabetik, doğal sırayla ya da uzunluğa göre dizebilir. Liste bir PDF'den ya da satırları bozulmuş bir e-postadan geldiyse önce diğer metin araçlarıyla bunları düzeltin; çünkü iki satıra bölünmüş bir kayıt, bölünmemiş eşiyle eşleşemez.