Supprimer les lignes en double

Les lignes en double apparaissent dès qu'on fusionne des listes. Un responsable marketing qui combine deux listes d'e-mails exportées, un chercheur qui rassemble des mots-clés issus de plusieurs outils, un développeur qui récupère des URL dans des fichiers journaux, un enseignant qui colle les noms de trois formulaires d'inscription : chacun se retrouve avec des entrées présentes deux fois ou plus. Les tableurs savent aussi supprimer les doublons, mais il faut ouvrir un fichier, sélectionner une colonne et trouver le bon menu ; coller le texte dans une zone de saisie est plus rapide quand les données sont déjà dans le presse-papiers.

Conserver l'ordre d'origine compte plus qu'il n'y paraît. Une liste d'étapes, un classement ou des URL dans l'ordre où elles ont été explorées perdent leur sens quand on les trie. Ici, la première occurrence reste exactement à sa place et les répétitions suivantes sont simplement supprimées, et un compteur indique combien de lignes ont été retirées pour que vous puissiez juger si le résultat est plausible.

Chaque ligne est ramenée à une clé de comparaison et stockée dans un ensemble pendant la lecture de la liste de haut en bas ; une ligne dont la clé figure déjà dans l'ensemble est un doublon. Un seul passage suffit, donc les listes de plusieurs centaines de milliers de lignes sont traitées rapidement. Cela diffère aussi de la commande Unix classique uniq, qui ne supprime que les doublons situés sur des lignes adjacentes et s'utilise donc généralement après sort, au prix de l'ordre d'origine. L'idiome awk awk '!seen[$0]++' fait ce que fait cet outil.

Deux lignes peuvent sembler identiques et pourtant différer. Un espace en fin de ligne, une tabulation à la place d'un espace ou une espace insécable copiée depuis une page web font que l'ordinateur les traite comme des chaînes différentes. Activez la suppression des espaces pour ignorer ceux situés aux deux extrémités de chaque ligne, y compris les espaces insécables. Désactivez la sensibilité à la casse pour considérer « Paris » et « paris » comme une même entrée ; c'est la première graphie rencontrée qui est conservée. Les lignes vides peuvent être conservées, pour que les paragraphes restent séparés, ou supprimées complètement.

Une liste dédoublonnée a souvent besoin d'un ordre ensuite : Trier les lignes peut la classer par ordre alphabétique, par ordre naturel ou par longueur. Si la liste provient d'un PDF ou d'un e-mail aux retours à la ligne cassés, corrigez-les d'abord avec les autres outils de texte, car une entrée coupée sur deux lignes ne peut pas correspondre à son jumeau intact.