Xóa dòng trùng lặp

Điều gì xảy ra với những dòng bạn giữ lại

Trang này có hai kiểu xử lý khoảng trắng khác nhau và bạn không nên nhầm lẫn chúng. Cắt khoảng trắng để so sánh chỉ tạo khóa so sánh và không bao giờ sửa các dòng của bạn — bản được giữ lại giữ nguyên chính xác khoảng cách ban đầu. Các tùy chọn làm gọn thì ngược lại: bỏ thụt lề, gộp các chuỗi dấu cách và tab, và cắt khoảng trắng ở hai đầu dòng là những chỉnh sửa thật sự, và chúng diễn ra trước khi lọc trùng, nên bật một tùy chọn sẽ âm thầm thay đổi cả điều kiện coi là trùng lẫn hình thức của các dòng.

Một dòng trống được so sánh như mọi dòng khác, nghĩa là mọi dòng trống sau dòng trống đầu tiên đều biến mất cùng các dòng trùng khác — một danh sách có khoảng cách giữa các đoạn sẽ trở lại với một dòng trống duy nhất ở vị trí của dòng trống đầu tiên. Và báo cáo các dòng lặp hiển thị khóa so sánh chứ không phải dòng của bạn: đã được cắt khoảng trắng, và chuyển về chữ thường nếu bạn chọn không phân biệt chữ hoa chữ thường. Vì vậy một mục xuất hiện trong danh sách dưới cả dạng Smith lẫn SMITH sẽ được báo một lần, bằng chữ thường, với số lần là hai. Danh sách đó chỉ hiển thị tối đa năm mươi mục lặp nhiều nhất.

Dù đầu vào là gì, đầu ra chỉ được nối bằng ký tự line feed, nên một danh sách dán từ file Windows sẽ mất ký tự carriage return trong quá trình xử lý — thường là điều bạn muốn, và đáng lưu ý nếu bạn dán kết quả trở lại một nơi có phân biệt điều này. Thêm một tác dụng phụ: bật “Không phân biệt chữ hoa chữ thường” sẽ thay đổi cả việc sắp xếp lẫn phép so sánh, và khi đó việc sắp xếp cũng không còn phân biệt chữ có dấu với chữ không dấu, nên resume và résumé sẽ đứng cạnh nhau thay vì tách rời.

Khi bạn cần công cụ khác

Khi danh sách thực chất là một bảng, so sánh theo dòng là sai loại công cụ. Một file CSV mà “trùng” nghĩa là hai hàng giống nhau ở một cột không phải là bài toán về chuỗi ký tự, và xử lý như vậy sẽ hoặc bỏ sót dòng trùng, hoặc xóa những hàng chỉ trông giống nhau. Tính năng Remove Duplicates có sẵn của phần mềm bảng tính làm việc này đúng cách với file bạn đang mở, và mlr uniq -g làm điều đó trên dòng lệnh bằng cách chỉ định trường quyết định, với mọi dung lượng.

Với danh sách quá lớn để nằm trong một tab, hoặc danh sách bạn sẽ làm sạch lại vào tuần sau, dòng lệnh chỉ cần một biểu thức xử lý dạng luồng: awk '!seen[$0]++' giữ bản đầu tiên và thứ tự ban đầu, đúng như trang này làm theo mặc định, trên một file lớn hơn bộ nhớ của bạn. Nó không cắt khoảng trắng, không gộp chữ hoa chữ thường và không báo cáo dòng lặp — đó là sự đánh đổi, và với một file mười triệu dòng thì đó là lựa chọn đúng.