Ta bort dubbletter av rader
Klistra in en lista så tas varje rad som upprepas efter sin första förekomst bort, medan de återstående raderna behåller sin ursprungliga ordning. Jämförelsen kan ignorera stora och små bokstäver samt överflödiga mellanslag, och allt körs i din webbläsare.
0 tecken · 0 ord · 0 rader
0 tecken · 0 ord · 0 rader
Körs helt i den här webbläsarfliken. Din text laddas aldrig upp eller sparas.
Vad det gör
Ta bort dubbletter av rader behåller första förekomsten av varje rad och tar bort senare upprepningar utan att ändra ursprunglig ordning. Matchningen kan ignorera skiftläge och omgivande mellanslag, och tomma rader kan behållas eller tas bort.
röd blå Röd grön
röd blå grön
Vem rensar dubbletter ur listor och varför
Dubbletter av rader uppstår så fort listor slås ihop. En marknadsförare som kombinerar två exporterade e-postlistor, en forskare som samlar nyckelord från flera verktyg, en utvecklare som hämtar URL:er från loggfiler, en lärare som klistrar in namn från tre anmälningsformulär: alla får poster som förekommer två gånger eller fler. Kalkylblad kan också ta bort dubbletter, men då måste du öppna en fil, markera en kolumn och hitta rätt meny. Att klistra in i en textruta går snabbare när datan redan ligger i urklipp.
Att behålla den ursprungliga ordningen är viktigare än det verkar. En lista med steg, en rangordning eller URL:er i den ordning de genomsöktes förlorar sin mening när de sorteras. Här stannar den första förekomsten exakt där den var och senare upprepningar tas helt enkelt bort. En räknare visar hur många rader som togs bort, så att du kan bedöma om resultatet verkar rimligt.
Så fungerar jämförelsen, och de osynliga skillnaderna
Varje rad omvandlas till en jämförelsenyckel och lagras i en mängd medan listan läses uppifrån och ner. En rad vars nyckel redan finns i mängden är en dubblett. Det sker i ett enda pass, så listor med hundratusentals rader hanteras snabbt. Det skiljer sig också från det klassiska Unix-kommandot uniq, som bara tar bort dubbletter på intilliggande rader och därför oftast körs efter sort, vilket förstör den ursprungliga ordningen. Awk-uttrycket awk '!seen[$0]++' gör samma sak som det här verktyget.
Två rader kan se identiska ut och ändå skilja sig åt. Ett blanksteg på slutet, en tabb i stället för ett mellanslag eller ett hårt mellanslag kopierat från en webbsida gör att datorn behandlar dem som olika strängar. Aktivera trimning för att ignorera blanksteg i början och slutet av varje rad, även hårda mellanslag. Stäng av skiftlägeskänslighet för att behandla "Paris" och "paris" som samma post. Den stavning som förekommer först är den som behålls. Tomma rader kan behållas så att styckena hålls isär, eller tas bort helt.
Efter rensningen
En lista utan dubbletter behöver ofta sorteras härnäst: Sortera rader kan ordna den alfabetiskt, i naturlig ordning eller efter längd. Om listan kommer från en PDF eller ett e-postmeddelande med trasiga radbrytningar bör du åtgärda det först med de andra textverktygen, eftersom en post som brutits över två rader inte kan matcha sin obrutna tvilling.
Vanliga frågor
- Vilken kopia av en dubblettrad behålls?
- Den första. Varje senare rad med samma innehåll tas bort, och de kvarvarande raderna behåller sin ursprungliga ordning, så ingenting blandas om.
- Varför tas inte två rader som ser likadana ut bort?
- De skiljer sig åt på ett osynligt sätt, oftast genom ett blanksteg på slutet, en tabb eller ett hårt mellanslag. Aktivera trimning, eller ignorera skiftläge om det bara är versaler och gemener som skiljer.
- Hur skiljer sig detta från kommandot uniq?
- uniq tar bara bort en rad om den upprepar raden direkt ovanför, så det används vanligtvis tillsammans med sort. Det här verktyget hittar upprepningar var som helst i texten och behåller den ursprungliga ordningen.
- Kan jag ta bort dubbletter och sortera listan samtidigt?
- Ta bort dubbletterna här och klistra sedan in resultatet i Sortera rader. Med två steg kan du behålla ordningen efter första förekomst när du behöver den och sortera bara när du vill.