Eliminar líneas duplicadas

Qué les pasa a las líneas que conservas

En esta página hay dos tipos distintos de tratamiento de espacios, y vale la pena no confundirlos. Recortar para comparar construye la clave y nunca edita tus líneas: la copia que se conserva mantiene exactamente su espaciado original. Las opciones de limpieza hacen lo contrario: quitar la sangría, reducir secuencias de espacios y tabulaciones y quitar los espacios de los extremos de las líneas son ediciones reales, y ocurren antes de eliminar duplicados, así que activar una cambia sin avisar qué cuenta como duplicado, además del aspecto de las líneas.

Una línea en blanco se compara como cualquier otra, lo que significa que todas las líneas en blanco después de la primera desaparecen junto con los demás duplicados: una lista con espacios entre párrafos vuelve con una sola línea en blanco, en la posición que ocupaba la primera. Y el informe de lo que se repitió muestra la clave y no tu línea: recortada, y en minúsculas si pediste ignorar las mayúsculas y minúsculas. Una entrada que aparece en tu lista como Smith y como SMITH se informa, por lo tanto, una sola vez, en minúsculas, con un conteo de dos. Esa lista se limita a las cincuenta más frecuentes.

Entre lo que entre, lo que sale se une solo con saltos de línea simples, así que una lista pegada desde un archivo de Windows pierde sus retornos de carro por el camino; normalmente es lo que querías, y conviene saberlo si vas a pegar el resultado en algo al que eso le importe. Un efecto secundario más: activar “Ignorar mayúsculas y minúsculas” cambia el ordenamiento además de la comparación, y entonces el ordenamiento también deja de distinguir las letras acentuadas de las simples, así que resume y résumé quedan juntas en lugar de separadas.

Si buscas otra cosa

Cuando la lista es en realidad una tabla, comparar líneas es la herramienta equivocada. Un CSV en el que “duplicado” significa dos filas que coinciden en una columna no es una cuestión de cadenas de texto, y tratarlo así o pasa por alto los duplicados o elimina filas que solo se parecían. La función Quitar duplicados de una hoja de cálculo lo hace bien con un archivo que ya tienes abierto, y mlr uniq -g lo hace en la línea de comandos indicando el campo que decide, a cualquier tamaño.

Para una lista demasiado grande para caber en una pestaña, o una que volverás a limpiar la semana que viene, en la línea de comandos basta una sola expresión que procesa el archivo en flujo: awk '!seen[$0]++' conserva la primera copia y el orden original, que es exactamente lo que hace esta página de forma predeterminada, con un archivo más grande que tu memoria. No recorta, no ignora mayúsculas y no informa de lo que se repitió: ese es el precio, y para un archivo de diez millones de líneas es el correcto.