Ismétlődő sorok törlése
Illesszen be egy listát, és minden sor ismétlődései törlődnek az első előfordulás után, a megmaradó sorok pedig megtartják eredeti sorrendjüket. Az összehasonlítás figyelmen kívül hagyhatja a kis- és nagybetűket és a felesleges szóközöket, és minden a böngészőjében fut.
0 karakter · 0 szó · 0 sor
0 karakter · 0 szó · 0 sor
Teljes egészében ebben a böngészőlapon fut. A szöveget soha nem töltjük fel és nem tároljuk.
Mit csinál
Ismétlődő sorok eltávolítása megtartja minden sor első előfordulását, a későbbi ismétlődéseket pedig törli, az eredeti sorrend érintetlenül hagyásával. Az egyezésvizsgálat figyelmen kívül hagyhatja a kis- és nagybetűk közti különbséget és a szélső szóközöket, az üres sorok pedig megtarthatók vagy eltávolíthatók.
piros kék Piros zöld
piros kék zöld
Ki szűri a duplikált sorokat, és miért
Ismétlődő sorok szinte mindig akkor keletkeznek, amikor listákat fűzünk össze. Egy marketinges két exportált e-mail-listát egyesít, egy kutató több eszközből gyűjti a kulcsszavakat, egy fejlesztő naplófájlokból szedi össze az URL-eket, egy tanár három jelentkezési űrlap neveit másolja egymás alá: a végén mindegyiküknél vannak kétszer vagy többször szereplő tételek. A táblázatkezelők is el tudják távolítani az ismétlődéseket, de ahhoz meg kell nyitni egy fájlt, ki kell jelölni egy oszlopot, és meg kell találni a megfelelő menüpontot; ha az adat már a vágólapon van, gyorsabb beilleszteni egy szövegmezőbe.
Az eredeti sorrend megtartása fontosabb, mint gondolnánk. A lépések listája, egy rangsor vagy a bejárás sorrendjében szereplő URL-ek rendezés után elveszítik a jelentésüket. Itt az első előfordulás pontosan ott marad, ahol volt, a későbbi ismétlődések pedig egyszerűen kimaradnak. Egy számláló megmutatja, hány sort távolított el az eszköz, így ellenőrizheti, hogy az eredmény életszerű-e.
Hogyan működik az egyeztetés, és a láthatatlan különbségek
Az eszköz minden sort összehasonlítási kulccsá alakít, és a lista fentről lefelé haladó olvasása közben egy halmazban tárolja. Az a sor, amelynek a kulcsa már szerepel a halmazban, ismétlődés. Ehhez egyetlen végigfutás elég, ezért a több százezer soros listákat is gyorsan feldolgozza. Eltér a klasszikus Unixos uniq parancstól is, amely csak a szomszédos sorokban lévő ismétlődéseket távolítja el, ezért általában sort után futtatják, és így az eredeti sorrend elvész. Az awk '!seen[$0]++' awk-megoldás ugyanazt csinálja, mint ez az eszköz.
Két sor kinézhet teljesen egyformán, mégis különbözhet. Egy záró szóköz, egy szóköz helyett tabulátor vagy egy weboldalról másolt nem törhető szóköz miatt a számítógép különböző szövegként kezeli őket. Kapcsolja be a szóközök levágását, hogy az eszköz figyelmen kívül hagyja a sorok két végén lévő szóközöket, a nem törhető szóközöket is beleértve. Kapcsolja ki a kis- és nagybetűk megkülönböztetését, ha a „Paris” és a „paris” legyen ugyanaz a tétel; ilyenkor az először előforduló írásmód marad meg. Az üres sorokat megtarthatja, hogy a bekezdések elkülönüljenek, vagy teljesen el is távolíthatja őket.
A tisztítás után
Az ismétlődések nélküli listát gyakran rendezni is kell: a Sorok rendezése eszköz ábécésorrendbe, természetes sorrendbe vagy hossz szerint rendezi. Ha a lista PDF-ből vagy tört sorú e-mailből származik, először javítsa ki ezeket a többi szövegeszközzel, mert a két sorba tört tétel nem egyezhet meg a törés nélküli párjával.
Gyakori kérdések
- Az ismétlődő sor melyik példánya marad meg?
- Az első marad meg. Minden későbbi, azonos tartalmú sor törlődik, a megmaradó sorok pedig az eredeti sorrendjükben maradnak, így semmi nem keveredik össze.
- Miért nem törlődik két egyformának látszó sor?
- Láthatatlan módon különböznek, leggyakrabban egy záró szóköz, egy tabulátor vagy egy nem törhető szóköz miatt. Kapcsolja be a szóközök levágását, vagy ne különböztesse meg a kis- és nagybetűket, ha csak a nagybetűzés tér el.
- Miben különbözik ez a uniq parancstól?
- A uniq csak akkor hagy ki egy sort, ha az megegyezik a közvetlenül felette lévővel, ezért általában a sort paranccsal együtt használják. Ez az eszköz a szöveg bármely részén megtalálja az ismétlődéseket, és megtartja az eredeti sorrendet.
- Törölhetem az ismétlődő sorokat, és egyszerre rendezhetem is a listát?
- Először távolítsa el itt az ismétlődéseket, majd illessze be az eredményt a Sorok rendezése eszközbe. Két lépésben megtarthatja az első előfordulás szerinti sorrendet, ha erre van szüksége, és csak akkor rendez, ha akar.