Hapus Baris Duplikat

Baris duplikat muncul setiap kali daftar digabungkan. Pemasar yang menggabungkan dua daftar email hasil ekspor, peneliti yang mengumpulkan kata kunci dari beberapa alat, developer yang mengumpulkan URL dari file log, guru yang menempelkan nama dari tiga formulir pendaftaran: semuanya berakhir dengan entri yang muncul dua kali atau lebih. Spreadsheet juga bisa menghapus duplikat, tetapi itu berarti membuka file, memilih kolom, dan mencari menu yang tepat; menempelkan ke kotak teks lebih cepat bila datanya sudah ada di clipboard.

Mempertahankan urutan asli lebih penting daripada kelihatannya. Daftar langkah, peringkat, atau URL sesuai urutan crawl kehilangan maknanya bila diurutkan ulang. Di sini, kemunculan pertama tetap persis di tempatnya dan pengulangan berikutnya cukup dibuang, lalu penghitung menunjukkan berapa baris yang dihapus agar Anda bisa menilai apakah hasilnya masuk akal.

Setiap baris direduksi menjadi kunci pembanding dan disimpan dalam sebuah set saat daftar dibaca dari atas ke bawah; baris yang kuncinya sudah ada di set adalah duplikat. Prosesnya hanya satu kali lewat, sehingga daftar berisi ratusan ribu baris diproses dengan cepat. Cara ini juga berbeda dari perintah Unix klasik uniq, yang hanya menghapus duplikat pada baris yang bersebelahan dan karena itu biasanya dijalankan setelah sort, sehingga urutan asli hilang. Idiom awk awk '!seen[$0]++' melakukan hal yang sama dengan alat ini.

Dua baris bisa tampak identik namun tetap berbeda. Spasi di akhir baris, tab sebagai ganti spasi, atau spasi tak terputus (non-breaking space) yang tersalin dari halaman web membuat komputer menganggapnya string yang berbeda. Aktifkan pemangkasan untuk mengabaikan spasi di kedua ujung setiap baris, termasuk spasi tak terputus. Matikan peka huruf besar/kecil agar "Jakarta" dan "jakarta" dianggap entri yang sama; ejaan yang pertama kali muncul yang dipertahankan. Baris kosong dapat dipertahankan agar paragraf tetap terpisah, atau dihapus seluruhnya.

Daftar yang sudah bebas duplikat sering kali perlu diurutkan berikutnya: Urutkan baris dapat menyusunnya secara alfabetis, dalam urutan alami, atau menurut panjang. Jika daftar berasal dari PDF atau email dengan baris yang terpotong, perbaiki dulu dengan alat teks lainnya, karena entri yang terlipat menjadi dua baris tidak akan cocok dengan kembarannya yang utuh.