Удалить повторяющиеся строки

Что происходит со строками, которые остаются

На этой странице есть два разных вида обработки пробелов, и их стоит не путать. Обрезка для сравнения строит ключ и никогда не правит ваши строки — оставшаяся копия сохраняет исходные пробелы в точности. Параметры очистки делают противоположное: удаление отступов, сжатие серий пробелов и табуляций и обрезка концов строк — это настоящие правки, и выполняются они до удаления дубликатов, поэтому включение любого из них незаметно меняет и то, что считается дубликатом, и то, как выглядят строки.

Пустая строка сравнивается как любая другая, а значит, все пустые строки после первой исчезают вместе с остальными дубликатами — список с отступами между абзацами вернётся с одной пустой строкой на месте первой. А в отчёте о повторах показывается ключ, а не ваша строка: с обрезанными пробелами и в нижнем регистре, если вы попросили не учитывать регистр. Поэтому запись, которая встречается в списке и как Smith, и как SMITH, попадёт в отчёт один раз, строчными буквами, с количеством два. Этот список ограничен пятьюдесятью самыми частыми.

Что бы ни было на входе, на выходе строки соединяются только символами перевода строки, так что список, вставленный из файла Windows, по пути теряет символы возврата каретки — обычно это то, что нужно, но об этом стоит помнить, если результат вставляется туда, где это важно. Ещё один побочный эффект: включение «Не учитывать регистр» меняет не только сравнение, но и сортировку, и тогда сортировка перестаёт различать буквы с диакритикой и без, так что resume и résumé оказываются рядом, а не порознь.

Если нужно другое

Когда список на самом деле — таблица, построчное сравнение не подходит по своей сути. CSV, где «дубликат» означает совпадение двух строк по одному столбцу, — это вопрос не о строках текста, и если так к нему относиться, дубликаты либо пропустятся, либо удалятся строки, которые лишь казались похожими. Встроенная функция «Удалить дубликаты» в табличном редакторе делает это правильно для уже открытого файла, а mlr uniq -g делает то же в командной строке — с указанием решающего поля и на любом объёме.

Для списка, который не помещается во вкладку, или такого, который вы будете чистить снова через неделю, в командной строке хватит одного потокового выражения: awk '!seen[$0]++' оставляет первую копию и исходный порядок — ровно то, что эта страница делает по умолчанию, — на файле больше вашей памяти. Обрезки пробелов, учёта регистра и отчёта о повторах там нет — это и есть компромисс, и для файла в десять миллионов строк он правильный.