Eliminar líneas duplicadas

Las líneas duplicadas aparecen cada vez que se combinan listas. Una persona de marketing que une dos listas de correos exportadas, un investigador que reúne palabras clave de varias herramientas, un desarrollador que junta URL de archivos de registro, un docente que pega los nombres de tres formularios de inscripción: todos acaban con entradas que aparecen dos veces o más. Las hojas de cálculo también eliminan duplicados, pero eso implica abrir un archivo, seleccionar una columna y encontrar el menú adecuado; pegar en un cuadro de texto es más rápido cuando los datos ya están en el portapapeles.

Conservar el orden original importa más de lo que parece. Una lista de pasos, una clasificación o unas URL en el orden en que se rastrearon pierden sentido si se ordenan. Aquí, la primera aparición se queda exactamente donde estaba y las repeticiones posteriores simplemente se descartan, y un contador muestra cuántas líneas se eliminaron para que pueda ver si el resultado es verosímil.

Cada línea se reduce a una clave de comparación y se guarda en un conjunto mientras la lista se lee de arriba abajo; una línea cuya clave ya está en el conjunto es un duplicado. Basta una sola pasada, así que las listas de cientos de miles de líneas se procesan rápido. Esto también la distingue del clásico comando uniq de Unix, que solo elimina los duplicados que están en líneas contiguas y por eso suele ejecutarse después de sort, con lo que se pierde el orden original. La expresión de awk awk '!seen[$0]++' hace lo mismo que esta herramienta.

Dos líneas pueden parecer idénticas y aun así ser distintas. Un espacio al final, una tabulación en lugar de un espacio o un espacio de no separación copiado de una página web hacen que la computadora las trate como cadenas diferentes. Active el recorte para ignorar los espacios en ambos extremos de cada línea, incluidos los de no separación. Desactive la distinción entre mayúsculas y minúsculas para tratar "Lima" y "lima" como la misma entrada; se conserva la primera grafía encontrada. Las líneas en blanco pueden conservarse, para que los párrafos sigan separados, o eliminarse por completo.

Una lista sin duplicados suele necesitar después un orden: Ordenar líneas puede organizarla alfabéticamente, en orden natural o por longitud. Si la lista viene de un PDF o de un correo con líneas cortadas, arréglelas primero con las demás herramientas de texto, porque una entrada partida en dos líneas no puede coincidir con su gemela entera.