Eliminare linii duplicate

Liniile duplicate apar de fiecare dată când se îmbină liste. Un specialist în marketing care combină două liste de e-mailuri exportate, un cercetător care adună cuvinte-cheie din mai multe instrumente, un dezvoltator care strânge URL-uri din fișiere de jurnal, un profesor care lipește numele din trei formulare de înscriere: fiecare ajunge cu intrări care apar de două sau mai multe ori. Foile de calcul pot elimina și ele duplicatele, dar asta înseamnă să deschideți un fișier, să selectați o coloană și să găsiți meniul potrivit; lipirea într-o casetă de text este mai rapidă când datele sunt deja în clipboard.

Păstrarea ordinii inițiale contează mai mult decât pare. O listă de pași, un clasament sau URL-uri în ordinea în care au fost parcurse își pierd sensul când sunt sortate. Aici, prima apariție rămâne exact unde era, iar repetările ulterioare sunt pur și simplu eliminate, iar un contor arată câte linii au fost șterse, ca să puteți verifica dacă rezultatul este plauzibil.

Fiecare linie este redusă la o cheie de comparare și stocată într-un set pe măsură ce lista este citită de sus în jos; o linie a cărei cheie se află deja în set este duplicat. Se face o singură trecere, deci listele cu sute de mii de linii sunt procesate rapid. Diferă și de comanda Unix clasică uniq, care elimină doar duplicatele aflate pe linii adiacente și de aceea se rulează de obicei după sort, pierzând ordinea inițială. Expresia awk awk '!seen[$0]++' face ce face acest instrument.

Două linii pot arăta identic și totuși să difere. Un spațiu la sfârșit, o tabulație în loc de spațiu sau un spațiu 'non-breaking' copiat dintr-o pagină web fac caGeneratorul să le trateze ca șiruri diferite. Activați eliminarea spațiilor pentru a ignora spațiile de la ambele capete ale fiecărei linii, inclusiv spațiile 'non-breaking'. Dezactivați sensibilitatea la majuscule pentru a trata „Paris” și „paris” ca aceeași intrare; se păstrează prima grafie întâlnită. Liniile goale pot fi păstrate, ca paragrafele să rămână separate, sau eliminate complet.

O listă fără duplicate are adesea nevoie de o ordonare: Sortare linii o poate aranja alfabetic, în ordine naturală sau după lungime. Dacă lista provine dintr-un PDF sau dintr-un e-mail cu linii rupte, remediați mai întâi aceste probleme cu celelalte instrumente pentru text, deoarece o intrare împărțită pe două linii nu poate corespunde gemenei ei întregi.