Doppelte Zeilen entfernen

Doppelte Zeilen entstehen immer dann, wenn Listen zusammengeführt werden. Ein Marketer kombiniert zwei exportierte E-Mail-Listen, eine Forscherin sammelt Keywords aus mehreren Tools, ein Entwickler trägt URLs aus Logdateien zusammen, eine Lehrerin fügt die Namen aus drei Anmeldeformularen ein: Am Ende gibt es überall Einträge, die zwei- oder mehrfach vorkommen. Auch Tabellenkalkulationen können Duplikate entfernen, doch dafür müssen Sie eine Datei öffnen, eine Spalte markieren und den passenden Menüpunkt finden. Liegen die Daten bereits in der Zwischenablage, geht das Einfügen in ein Textfeld schneller.

Die ursprüngliche Reihenfolge beizubehalten ist wichtiger, als es scheint. Eine Liste von Arbeitsschritten, eine Rangliste oder URLs in der Reihenfolge ihres Crawlings verlieren beim Sortieren ihre Bedeutung. Hier bleibt das erste Vorkommen genau an seiner Stelle, spätere Wiederholungen werden einfach entfernt. Ein Zähler zeigt, wie viele Zeilen entfernt wurden, sodass Sie prüfen können, ob das Ergebnis plausibel ist.

Jede Zeile wird auf einen Vergleichsschlüssel reduziert und in einer Menge (Set) gespeichert, während die Liste von oben nach unten gelesen wird. Ist der Schlüssel einer Zeile bereits in der Menge enthalten, ist sie ein Duplikat. Das geschieht in einem einzigen Durchlauf, daher werden auch Listen mit Hunderttausenden Zeilen schnell verarbeitet. Das unterscheidet sich vom klassischen Unix-Befehl uniq, der nur Duplikate in direkt aufeinanderfolgenden Zeilen entfernt und deshalb meist nach sort ausgeführt wird, wodurch die ursprüngliche Reihenfolge verloren geht. Die awk-Variante awk '!seen[$0]++' macht dasselbe wie dieses Tool.

Zwei Zeilen können identisch aussehen und sich dennoch unterscheiden. Ein Leerzeichen am Zeilenende, ein Tabulator statt eines Leerzeichens oder ein von einer Webseite kopiertes geschütztes Leerzeichen führt dazu, dass der Computer sie als verschiedene Zeichenfolgen behandelt. Aktivieren Sie das Entfernen von Leerzeichen, um Leerzeichen am Anfang und Ende jeder Zeile zu ignorieren, auch geschützte Leerzeichen. Schalten Sie die Unterscheidung von Groß- und Kleinschreibung aus, um „Paris“ und „paris“ als denselben Eintrag zu behandeln; behalten wird die zuerst gefundene Schreibweise. Leerzeilen können erhalten bleiben, damit Absätze getrennt bleiben, oder ganz entfernt werden.

Nach dem Entfernen von Duplikaten braucht eine Liste oft eine Ordnung: Mit Zeilen sortieren können Sie sie alphabetisch, in natürlicher Reihenfolge oder nach Länge anordnen. Stammt die Liste aus einer PDF-Datei oder einer E-Mail mit umbrochenen Zeilen, korrigieren Sie das zuerst mit den anderen Text-Tools, denn ein auf zwei Zeilen verteilter Eintrag kann nicht mit seinem unversehrten Gegenstück übereinstimmen.