Dubbele regels verwijderen

Dubbele regels ontstaan altijd wanneer lijsten worden samengevoegd. Een marketeer die twee geëxporteerde e-maillijsten combineert, een onderzoeker die zoekwoorden uit verschillende tools verzamelt, een ontwikkelaar die URL's uit logbestanden haalt, een docent die de namen uit drie aanmeldformulieren plakt: allemaal krijgen ze items die twee keer of vaker voorkomen. Ook spreadsheets kunnen dubbele waarden verwijderen, maar dan moet u een bestand openen, een kolom selecteren en het juiste menu vinden. Plakken in een tekstvak gaat sneller als de gegevens al op het klembord staan.

De oorspronkelijke volgorde behouden is belangrijker dan het lijkt. Een lijst met stappen, een ranglijst of URL's in de volgorde waarin ze zijn doorzocht, verliest zijn betekenis als u ze sorteert. Hier blijft het eerste voorkomen precies staan waar het stond en worden latere herhalingen gewoon weggelaten. Een teller laat zien hoeveel regels zijn verwijderd, zodat u kunt beoordelen of het resultaat klopt.

Elke regel wordt teruggebracht tot een vergelijkingssleutel en opgeslagen in een set terwijl de lijst van boven naar beneden wordt gelezen. Een regel waarvan de sleutel al in de set zit, is een duplicaat. Dat kost één doorgang, dus lijsten met honderdduizenden regels worden snel verwerkt. Het verschilt ook van het klassieke Unix-commando uniq, dat alleen duplicaten op aansluitende regels verwijdert en daarom meestal na sort wordt uitgevoerd, waardoor de oorspronkelijke volgorde verloren gaat. De awk-constructie awk '!seen[$0]++' doet hetzelfde als deze tool.

Twee regels kunnen er identiek uitzien en toch verschillen. Een spatie aan het eind, een tab in plaats van een spatie of een niet-afbrekende spatie die van een webpagina is gekopieerd, zorgt ervoor dat de computer ze als verschillende tekenreeksen behandelt. Zet trimmen aan om spaties aan beide uiteinden van elke regel te negeren, inclusief niet-afbrekende spaties. Zet hoofdlettergevoeligheid uit om "Parijs" en "parijs" als hetzelfde item te behandelen. De eerst gevonden schrijfwijze blijft behouden. Lege regels kunt u bewaren, zodat alinea's gescheiden blijven, of helemaal verwijderen.

Een lijst zonder duplicaten moet vaak daarna in volgorde: met Regels sorteren zet u hem alfabetisch, in natuurlijke volgorde of op lengte. Komt de lijst uit een PDF of een e-mail met afgebroken regels, herstel die dan eerst met de andere teksttools, want een item dat over twee regels is verdeeld, kan niet overeenkomen met zijn ongebroken tegenhanger.