Fjern dublerede linjer

Dublerede linjer opstår, hver gang lister bliver slået sammen. En marketingmedarbejder, der samler to eksporterede e-mail-lister, en researcher, der indsamler søgeord fra flere værktøjer, en udvikler, der samler URL'er fra logfiler, en lærer, der indsætter navne fra tre tilmeldingsformularer: alle ender med poster, der optræder to gange eller flere. Regneark kan også fjerne dubletter, men så skal du åbne en fil, markere en kolonne og finde den rigtige menu. Det er hurtigere at indsætte teksten i et tekstfelt, når data allerede ligger på udklipsholderen.

Det betyder mere, end man skulle tro, at den oprindelige rækkefølge bevares. En liste med trin, en rangliste eller URL'er i den rækkefølge, de blev gennemsøgt i, mister sin mening, hvis den sorteres. Her bliver den første forekomst stående præcis, hvor den var, og senere gentagelser fjernes blot. En tæller viser, hvor mange linjer der er fjernet, så du kan vurdere, om resultatet er rimeligt.

Hver linje reduceres til en sammenligningsnøgle og gemmes i et sæt, mens listen læses fra top til bund. En linje, hvis nøgle allerede findes i sættet, er en dublet. Det kræver kun ét gennemløb, så lister med hundredtusindvis af linjer behandles hurtigt. Det adskiller sig også fra den klassiske Unix-kommando uniq, som kun fjerner dubletter på tilstødende linjer og derfor som regel køres efter sort, hvorved den oprindelige rækkefølge går tabt. Awk-udtrykket awk '!seen[$0]++' gør det samme som dette værktøj.

To linjer kan se ens ud og alligevel være forskellige. Et mellemrum til sidst, en tabulator i stedet for et mellemrum eller et hårdt mellemrum kopieret fra en webside får computeren til at opfatte dem som forskellige tekststrenge. Slå trimning til for at ignorere mellemrum i begge ender af hver linje, også hårde mellemrum. Slå forskel på store og små bogstaver fra, hvis "Paris" og "paris" skal tælle som den samme post. Den første stavemåde, der optræder, bliver beholdt. Tomme linjer kan beholdes, så afsnit forbliver adskilt, eller fjernes helt.

En liste uden dubletter skal ofte sorteres bagefter: Sortér linjer kan ordne den alfabetisk, i naturlig rækkefølge eller efter længde. Hvis listen stammer fra en PDF eller en e-mail med ødelagte linjeskift, så ret dem først med de andre tekstværktøjer, for en post, der er brudt over to linjer, kan ikke matche sin ubrudte tvilling.