Fjern dupliserte linjer

Dupliserte linjer dukker opp hver gang lister slås sammen. En markedsfører som kombinerer to eksporterte e-postlister, en forsker som samler nøkkelord fra flere verktøy, en utvikler som henter URL-er fra loggfiler, en lærer som limer inn navn fra tre påmeldingsskjemaer: alle ender opp med oppføringer som står to ganger eller flere. Regneark kan også fjerne duplikater, men da må du åpne en fil, markere en kolonne og finne riktig meny. Det går raskere å lime inn i et tekstfelt når dataene allerede ligger på utklippstavlen.

Å beholde den opprinnelige rekkefølgen er viktigere enn det kan se ut som. En liste med trinn, en rangering eller URL-er i den rekkefølgen de ble gjennomsøkt, mister mening når den sorteres. Her blir den første forekomsten stående nøyaktig der den var, mens senere gjentakelser rett og slett fjernes. En teller viser hvor mange linjer som ble fjernet, slik at du kan vurdere om resultatet virker rimelig.

Hver linje reduseres til en sammenligningsnøkkel og lagres i et sett mens listen leses fra topp til bunn. En linje hvis nøkkel allerede finnes i settet, er et duplikat. Dette krever bare én gjennomgang, så lister med hundretusenvis av linjer behandles raskt. Det skiller seg også fra den klassiske Unix-kommandoen uniq, som bare fjerner duplikater på tilstøtende linjer og derfor vanligvis kjøres etter sort, slik at den opprinnelige rekkefølgen går tapt. Awk-uttrykket awk '!seen[$0]++' gjør det samme som dette verktøyet.

To linjer kan se like ut og likevel være forskjellige. Et mellomrom på slutten, en tabulator i stedet for et mellomrom eller et hardt mellomrom kopiert fra en nettside gjør at datamaskinen behandler dem som ulike tekststrenger. Slå på trimming for å ignorere mellomrom i begge ender av hver linje, også harde mellomrom. Slå av skille mellom store og små bokstaver for å behandle «Paris» og «paris» som samme oppføring. Den første skrivemåten som blir funnet, er den som beholdes. Tomme linjer kan beholdes, slik at avsnitt forblir adskilt, eller fjernes helt.

En liste uten duplikater trenger ofte en rekkefølge etterpå: Sorter linjer kan ordne den alfabetisk, i naturlig rekkefølge eller etter lengde. Hvis listen kom fra en PDF eller en e-post med brutte linjer, bør du rette opp dem først med de andre tekstverktøyene, siden en oppføring som er delt over to linjer, ikke kan matche sin uavbrutte tvilling.