Odstrani podvojene vrstice

Podvojene vrstice se pojavijo vedno, ko združite sezname. Tržnik, ki združi dva izvožena seznama e-naslovov, raziskovalec, ki zbira ključne besede iz več orodij, razvijalec, ki zbira naslove URL iz dnevniških datotek, učitelj, ki prilepi imena iz treh prijavnic: vsak na koncu dobi vnose, ki se pojavijo dvakrat ali večkrat. Podvojene vnose lahko odstranite tudi v preglednici, vendar je treba odpreti datoteko, izbrati stolpec in poiskati pravi meni; lepljenje v besedilno polje je hitrejše, kadar so podatki že v odložišču.

Ohranitev prvotnega vrstnega reda je pomembnejša, kot se zdi. Seznam korakov, lestvica ali naslovi URL v vrstnem redu, v katerem so bili pregledani, ob razvrščanju izgubijo pomen. Tukaj prvi pojav ostane natanko tam, kjer je bil, poznejše ponovitve pa se preprosto izpustijo, števec pa pokaže, koliko vrstic je bilo odstranjenih, da lahko presodite, ali je rezultat smiseln.

Vsaka vrstica se pretvori v primerjalni ključ, ki se med branjem seznama od zgoraj navzdol shrani v množico; vrstica, katere ključ je že v množici, je podvojena. Za to je potreben en prehod, zato se seznami s sto tisoči vrstic obdelajo hitro. Orodje se razlikuje tudi od klasičnega ukaza uniq v Unixu, ki odstrani le podvojene vrstice, ki si sledijo neposredno, zato ga običajno zaženemo po ukazu sort, s tem pa izgubimo prvotni vrstni red. Idiom awk '!seen[$0]++' v awk naredi isto kot to orodje.

Dve vrstici sta lahko videti enaki, pa se vseeno razlikujeta. Presledek na koncu, tabulator namesto presledka ali nedeljiv presledek, kopiran s spletne strani, povzročijo, da računalnik obravnava vrstici kot različna niza. Vklopite obrezovanje, da prezrete presledke na obeh koncih vsake vrstice, vključno z nedeljivimi presledki. Izklopite razlikovanje velikih in malih črk, da se »Paris« in »paris« obravnavata kot isti vnos; ohrani se prvi videni zapis. Prazne vrstice lahko ohranite, da ostanejo odstavki ločeni, ali pa jih povsem odstranite.

Seznam brez podvojenih vrstic pogosto potrebuje še vrstni red: Razvrsti vrstice ga lahko uredi abecedno, po naravnem vrstnem redu ali po dolžini. Če seznam izvira iz PDF-ja ali e-pošte s prelomljenimi vrsticami, jih najprej popravite z drugimi orodji za besedilo, saj vnos, razdeljen na dve vrstici, ne more ustrezati svojemu nerazdeljenemu dvojčku.