Usuń zduplikowane wiersze
Wklej listę, a każdy wiersz powtórzony po swoim pierwszym wystąpieniu zostanie usunięty, a pozostałe wiersze zachowają pierwotną kolejność. Porównywanie może ignorować wielkość liter i zbędne spacje, a wszystko działa w Twojej przeglądarce.
Znaki: 0 · słowa: 0 · wiersze: 0
Znaki: 0 · słowa: 0 · wiersze: 0
Działa w całości w tej karcie przeglądarki. Twój tekst nie jest wysyłany ani zapisywany.
Co robi to narzędzie
Usuwanie zduplikowanych wierszy zachowuje pierwsze wystąpienie każdego wiersza i usuwa późniejsze powtórzenia, nie zmieniając pierwotnej kolejności. Dopasowanie może ignorować wielkość liter i otaczające spacje, a puste wiersze można zachować lub usunąć.
red blue Red green
red blue green
Kto usuwa duplikaty z list i po co
Zduplikowane wiersze pojawiają się zawsze, gdy łączy się listy. Marketer zestawiający dwie wyeksportowane listy e-mail, badacz zbierający słowa kluczowe z kilku narzędzi, programista gromadzący adresy URL z plików logów, nauczyciel wklejający nazwiska z trzech formularzy zgłoszeniowych: każdy z nich kończy z pozycjami, które powtarzają się dwa razy lub częściej. Arkusze kalkulacyjne też potrafią usuwać duplikaty, ale trzeba otworzyć plik, zaznaczyć kolumnę i znaleźć właściwą opcję w menu; wklejenie tekstu do pola jest szybsze, gdy dane są już w schowku.
Zachowanie oryginalnej kolejności jest ważniejsze, niż się wydaje. Lista kroków, ranking albo adresy URL w kolejności, w jakiej zostały zindeksowane, tracą sens po posortowaniu. Tutaj pierwsze wystąpienie zostaje dokładnie na swoim miejscu, a późniejsze powtórzenia są po prostu pomijane. Licznik pokazuje, ile wierszy usunięto, dzięki czemu łatwo ocenić, czy wynik jest wiarygodny.
Jak działa porównywanie i niewidoczne różnice
Każdy wiersz jest sprowadzany do klucza porównania i zapisywany w zbiorze podczas czytania listy od góry do dołu; wiersz, którego klucz już jest w zbiorze, jest duplikatem. Wystarczy jeden przebieg, więc listy liczące setki tysięcy wierszy są przetwarzane szybko. Różni się to od klasycznego polecenia uniksowego uniq, które usuwa tylko duplikaty leżące w sąsiednich wierszach, dlatego zwykle uruchamia się je po sort, tracąc oryginalną kolejność. Idiom awk awk '!seen[$0]++' robi to samo, co to narzędzie.
Dwa wiersze mogą wyglądać identycznie, a mimo to się różnić. Spacja na końcu, tabulator zamiast spacji albo twarda spacja skopiowana ze strony internetowej sprawiają, że komputer traktuje je jako różne ciągi znaków. Włącz przycinanie, aby ignorować spacje na obu końcach każdego wiersza, w tym twarde spacje. Wyłącz rozróżnianie wielkości liter, aby "Paris" i "paris" traktować jako tę samą pozycję; zachowany zostaje pierwszy napotkany zapis. Puste wiersze można zachować, aby akapity pozostały rozdzielone, albo usunąć w całości.
Po oczyszczeniu listy
Po usunięciu duplikatów lista często wymaga uporządkowania: Sortowanie wierszy ułoży ją alfabetycznie, w porządku naturalnym lub według długości. Jeśli lista pochodzi z pliku PDF albo z wiadomości e-mail z połamanymi wierszami, najpierw popraw ją innymi narzędziami tekstowymi, ponieważ pozycja zawinięta na dwa wiersze nie będzie pasować do swojego nierozciętego odpowiednika.
Najczęściej zadawane pytania
- Która kopia zduplikowanego wiersza zostaje zachowana?
- Pierwszy. Każdy kolejny wiersz o tej samej treści jest usuwany, a pozostałe wiersze zachowują pierwotną kolejność, więc nic nie zostaje przemieszane.
- Dlaczego dwa wiersze, które wyglądają identycznie, nie zostają usunięte?
- Różnią się w sposób niewidoczny, najczęściej spacją na końcu, tabulatorem lub twardą spacją. Włącz opcję przycinania albo ignoruj wielkość liter, jeśli różni się tylko ona.
- Czym to się różni od polecenia uniq?
- uniq usuwa wiersz tylko wtedy, gdy powtarza wiersz bezpośrednio nad nim, dlatego zwykle łączy się go z sort. To narzędzie znajduje powtórzenia w dowolnym miejscu tekstu i zachowuje oryginalną kolejność.
- Czy można jednocześnie usunąć duplikaty i posortować listę?
- Usuń tutaj duplikaty, a następnie wklej wynik do narzędzia Sortowanie wierszy. Dzięki dwóm krokom możesz zachować kolejność pierwszego wystąpienia, gdy jest potrzebna, i sortować tylko wtedy, gdy tego chcesz.