Rimuovere righe duplicate

Le righe duplicate compaiono ogni volta che si uniscono degli elenchi. Chi fa marketing e combina due liste di email esportate, chi raccoglie parole chiave da più strumenti, chi mette insieme URL dai file di log, l'insegnante che incolla i nomi di tre moduli di iscrizione: ognuno si ritrova con voci che compaiono due o più volte. Anche i fogli di calcolo possono rimuovere i duplicati, ma bisogna aprire un file, selezionare una colonna e trovare il menu giusto; incollare in una casella di testo è più veloce quando i dati sono già negli appunti.

Mantenere l'ordine originale conta più di quanto sembri. Un elenco di passaggi, una classifica o degli URL nell'ordine di scansione perdono significato se vengono ordinati. Qui la prima occorrenza resta esattamente dov'era e le ripetizioni successive vengono semplicemente eliminate; un contatore indica quante righe sono state rimosse, così si può valutare se il risultato è plausibile.

Ogni riga viene ridotta a una chiave di confronto e memorizzata in un insieme (set) mentre l'elenco viene letto dall'alto verso il basso; una riga la cui chiave è già presente nell'insieme è un duplicato. Basta un solo passaggio, quindi anche elenchi con centinaia di migliaia di righe vengono elaborati rapidamente. È diverso dal classico comando Unix uniq, che rimuove solo i duplicati su righe adiacenti e quindi di solito si esegue dopo sort, perdendo l'ordine originale. L'idioma awk awk '!seen[$0]++' fa ciò che fa questo strumento.

Due righe possono sembrare identiche e invece essere diverse. Uno spazio finale, una tabulazione al posto di uno spazio o uno spazio non separabile copiato da una pagina web fanno sì che il computer le consideri stringhe diverse. Attivare la rimozione degli spazi permette di ignorare quelli all'inizio e alla fine di ogni riga, compresi gli spazi non separabili. Disattivare la distinzione tra maiuscole e minuscole permette di trattare «Paris» e «paris» come la stessa voce; viene mantenuta la prima grafia incontrata. Le righe vuote si possono conservare, così i paragrafi restano separati, oppure eliminare del tutto.

Dopo aver eliminato i duplicati spesso serve anche ordinare l'elenco: Ordina righe può disporlo in ordine alfabetico, naturale o per lunghezza. Se l'elenco proviene da un PDF o da un'email con le righe spezzate, conviene sistemarle prima con gli altri strumenti di testo, perché una voce andata a capo su due righe non può corrispondere alla sua gemella intera.