Doppelte Zeilen entfernen

Was mit den Zeilen passiert, die Sie behalten

Auf dieser Seite gibt es zwei verschiedene Arten, mit Leerzeichen umzugehen, und man sollte sie nicht verwechseln. Das Abschneiden für den Vergleich bildet den Schlüssel und bearbeitet Ihre Zeilen nie – die verbleibende Kopie behält ihre ursprünglichen Leerzeichen exakt. Die Aufräum-Optionen tun das Gegenteil: Einrückung entfernen, mehrfache Leerzeichen und Tabs zusammenfassen und Zeilenenden säubern sind echte Bearbeitungen, und sie geschehen vor dem Entfernen der Duplikate – eine davon einzuschalten ändert also stillschweigend, was als Duplikat gilt, und nicht nur, wie die Zeilen aussehen.

Eine Leerzeile wird wie jede andere Zeile verglichen, daher verschwindet jede Leerzeile nach der ersten zusammen mit den anderen Duplikaten – eine Liste mit Absatzabständen kommt mit einer einzigen Leerzeile an der Stelle zurück, an der die erste stand. Und der Bericht über die Wiederholungen zeigt den Schlüssel, nicht Ihre Zeile: abgeschnitten und kleingeschrieben, wenn Sie die Groß-/Kleinschreibung ignorieren lassen. Ein Eintrag, der in Ihrer Liste sowohl als Smith als auch als SMITH vorkommt, wird daher einmal gemeldet, kleingeschrieben, mit der Anzahl zwei. Diese Liste ist auf die fünfzig häufigsten begrenzt.

Egal, was hineingeht: Was herauskommt, wird nur mit Zeilenvorschüben verbunden – eine aus einer Windows-Datei eingefügte Liste verliert unterwegs also ihre Wagenrückläufe. Meist ist das gewollt, und es lohnt sich, das zu wissen, wenn Sie das Ergebnis wieder in etwas einfügen, das darauf achtet. Eine weitere Nebenwirkung: „Groß-/Kleinschreibung ignorieren“ ändert neben dem Vergleich auch die Sortierung, und die Sortierung unterscheidet dann auch Akzentbuchstaben nicht mehr von einfachen – resume und résumé landen also beieinander statt getrennt.

Wenn Sie etwas anderes brauchen

Wenn die Liste eigentlich eine Tabelle ist, ist ein Zeilenvergleich das falsch zugeschnittene Werkzeug. Eine CSV, in der „Duplikat“ bedeutet, dass zwei Zeilen in einer Spalte übereinstimmen, ist keine Frage von Zeichenketten, und wer sie so behandelt, übersieht entweder die Duplikate oder entfernt Zeilen, die nur ähnlich aussahen. Die Funktion „Duplikate entfernen“ einer Tabellenkalkulation erledigt das richtig für eine Datei, die Sie ohnehin geöffnet haben, und mlr uniq -g schafft es auf der Kommandozeile in jeder Größe, indem Sie das entscheidende Feld benennen.

Für eine Liste, die zu groß für einen Tab ist, oder eine, die Sie nächste Woche wieder bereinigen, ist die Kommandozeile ein einziger Ausdruck, der als Stream arbeitet: awk '!seen[$0]++' behält die erste Kopie und die ursprüngliche Reihenfolge – genau das, was diese Seite standardmäßig tut –, bei einer Datei, die größer ist als Ihr Arbeitsspeicher. Er kennt kein Abschneiden, keine Angleichung der Groß-/Kleinschreibung und keinen Bericht über Wiederholungen – das ist der Tausch, und bei einer Datei mit zehn Millionen Zeilen ist es der richtige.