Supprimer les lignes en double

Ce qui arrive aux lignes que vous gardez

Deux traitements différents des espaces coexistent sur cette page, et mieux vaut ne pas les confondre. La suppression des espaces pour la comparaison sert à construire la clé et ne modifie jamais vos lignes — l'exemplaire conservé garde exactement son espacement d'origine. Les options de nettoyage font l'inverse : supprimer l'indentation, réduire les suites d'espaces et de tabulations, retirer les espaces aux extrémités des lignes sont de vraies modifications, appliquées avant tout dédoublonnage — en activer une change donc discrètement ce qui compte comme doublon, en plus de l'apparence des lignes.

Une ligne vide est comparée comme n'importe quelle autre ligne : toutes les lignes vides après la première disparaissent avec les autres doublons — une liste aérée de sauts de paragraphe revient avec une seule ligne vide, à l'emplacement de la première. Et le rapport des répétitions affiche la clé plutôt que votre ligne : sans espaces aux extrémités, et en minuscules si vous avez demandé d'ignorer les majuscules. Une entrée présente dans votre liste à la fois sous la forme Smith et SMITH est donc signalée une seule fois, en minuscules, avec un compte de deux. Cette liste se limite aux cinquante entrées les plus fréquentes.

Quoi qu'il entre, ce qui sort est joint uniquement par des sauts de ligne : une liste collée depuis un fichier Windows perd donc ses retours chariot au passage — c'est généralement ce que vous vouliez, et bon à savoir si vous recollez le résultat dans un logiciel qui y est sensible. Un dernier effet de bord : activer « Ignorer les majuscules » modifie le tri en plus de la comparaison, et le tri cesse alors aussi de distinguer les lettres accentuées des lettres simples, si bien que resume et résumé ressortent ensemble plutôt que séparés.

Si vous cherchez autre chose

Quand la liste est en réalité un tableau, la comparaison de lignes n'est pas le bon outil. Un CSV où « doublon » signifie deux lignes identiques sur une colonne n'est pas une question de chaînes de caractères, et le traiter comme tel fait soit rater les doublons, soit supprimer des lignes qui se ressemblaient seulement. La fonction Supprimer les doublons d'un tableur fait cela correctement pour un fichier que vous avez déjà ouvert, et mlr uniq -g le fait en ligne de commande en désignant le champ qui tranche, quelle que soit la taille.

Pour une liste trop grande pour tenir dans un onglet, ou que vous nettoierez encore la semaine prochaine, la ligne de commande tient en une seule expression qui lit en flux : awk '!seen[$0]++' garde le premier exemplaire et l'ordre d'origine, exactement ce que fait cette page par défaut, sur un fichier plus gros que votre mémoire. Sans suppression des espaces, sans insensibilité à la casse et sans rapport des répétitions — c'est le compromis, et pour un fichier de dix millions de lignes c'est le bon.