Verwyder duplikaatreëls

Dubbele reëls verskyn wanneer lyste saamgevoeg word. 'n Bemarker wat twee uitgevoerde e-pos-lyste kombineer, 'n navorser wat sleutelwoorde uit verskeie hulpmiddels versamel, 'n ontwikkelaar wat URL's uit loglêers bymekaarmaak, 'n onderwyser wat die name van drie inskrywingsvorms plak: elkeen eindig met inskrywings wat twee keer of meer voorkom. Sigblaaie kan ook duplikate verwyder, maar dan moet jy 'n lêer oopmaak, 'n kolom kies en die regte kieslys vind; plak in 'n teksblokkie is vinniger as die data reeds op die knipbord is.

Dit is belangriker as wat dit lyk om die oorspronklike volgorde te behou. 'n Lys stappe, 'n ranglys of URL's in die volgorde waarin hulle deursoek is, verloor betekenis wanneer dit gesorteer word. Hier bly die eerste voorkoms presies waar dit was en latere herhalings word eenvoudig weggelaat, en 'n teller wys hoeveel reëls verwyder is sodat jy kan sien of die resultaat aanneemlik is.

Elke reël word tot 'n vergelykingssleutel verminder en in 'n versameling gestoor terwyl die lys van bo na onder gelees word; 'n reël waarvan die sleutel reeds in die versameling is, is 'n duplikaat. Dit neem net een deurloop, so lyste met honderdduisende reëls word vinnig hanteer. Dit verskil ook van die klassieke Unix-opdrag uniq, wat net duplikate verwyder wat op aangrensende reëls sit en dus gewoonlik ná sort uitgevoer word, waardeur die oorspronklike volgorde verlore gaan. Die awk-idioom awk '!seen[$0]++' doen wat hierdie hulpmiddel doen.

Twee reëls kan identies lyk en tog verskil. 'n Spasie aan die einde, 'n tab in plaas van 'n spasie, of 'n harde spasie wat van 'n webblad gekopieer is, laat die rekenaar hulle as verskillende stringe behandel. Skakel afsnyding aan om spasies aan albei kante van elke reël te ignoreer, insluitend harde spasies. Skakel hooflettersensitiwiteit af om "Paris" en "paris" as dieselfde inskrywing te beskou; die eerste spelling wat gesien is, word behou. Leë reëls kan behou word sodat paragrawe geskei bly, of heeltemal verwyder word.

'n Lys sonder duplikate het dikwels daarna 'n volgorde nodig: Sorteer reëls kan dit alfabeties, in natuurlike volgorde of volgens lengte rangskik. As die lys uit 'n PDF of 'n e-pos met gebroke reëls kom, maak dit eers reg met die ander teksgereedskap, want 'n inskrywing wat oor twee reëls gebreek is, kan nie by sy ongebroke tweeling pas nie.