Remover linhas duplicadas

Linhas duplicadas aparecem sempre que listas são combinadas. Um profissional de marketing que junta duas listas de e-mails exportadas, um pesquisador que reúne palavras-chave de várias ferramentas, um desenvolvedor que coleta URLs de arquivos de log, um professor que cola os nomes de três formulários de inscrição: todos acabam com itens que aparecem duas vezes ou mais. As planilhas também removem duplicatas, mas isso exige abrir um arquivo, selecionar uma coluna e achar o menu certo; colar em uma caixa de texto é mais rápido quando os dados já estão na área de transferência.

Manter a ordem original importa mais do que parece. Uma lista de passos, um ranking ou URLs na ordem em que foram rastreadas perdem o sentido quando são ordenados. Aqui, a primeira ocorrência fica exatamente onde estava e as repetições seguintes são simplesmente descartadas, e um contador mostra quantas linhas foram removidas para você avaliar se o resultado é plausível.

Cada linha é reduzida a uma chave de comparação e guardada em um conjunto enquanto a lista é lida de cima para baixo; uma linha cuja chave já está no conjunto é uma duplicata. Isso exige uma única passada, então listas com centenas de milhares de linhas são processadas rapidamente. Também é diferente do comando clássico uniq do Unix, que só remove duplicatas em linhas adjacentes e por isso costuma ser executado depois de sort, perdendo a ordem original. O idioma do awk awk '!seen[$0]++' faz o mesmo que esta ferramenta.

Duas linhas podem parecer idênticas e ainda assim ser diferentes. Um espaço no final, uma tabulação no lugar de um espaço ou um espaço não separável copiado de uma página da web fazem o computador tratá-las como textos distintos. Ative a remoção de espaços para ignorar os espaços nas duas pontas de cada linha, inclusive os espaços não separáveis. Desative a distinção entre maiúsculas e minúsculas para tratar "Paris" e "paris" como o mesmo item; a primeira grafia encontrada é a que permanece. As linhas em branco podem ser mantidas, para que os parágrafos continuem separados, ou removidas por completo.

Uma lista sem duplicatas muitas vezes precisa de uma ordem em seguida: Ordenar linhas pode organizá-la em ordem alfabética, em ordem natural ou por tamanho. Se a lista veio de um PDF ou de um e-mail com quebras de linha erradas, corrija isso antes com as outras ferramentas de texto, porque um item quebrado em duas linhas não consegue coincidir com o seu gêmeo inteiro.