Hapus baris duplikat

Apa yang terjadi pada baris yang dipertahankan

Ada dua jenis penanganan spasi di halaman ini, dan sebaiknya jangan dicampuradukkan. Pemangkasan untuk perbandingan membentuk kunci dan tidak pernah mengedit baris Anda — salinan yang tersisa mempertahankan spasi aslinya persis. Opsi Rapikan melakukan kebalikannya: menghapus indentasi, meringkas deretan spasi dan tab, dan memangkas ujung baris adalah pengeditan sungguhan, dan dilakukan sebelum duplikat dihapus, jadi mengaktifkan salah satunya diam-diam mengubah apa yang dianggap duplikat sekaligus tampilan barisnya.

Baris kosong dibandingkan seperti baris lainnya, artinya setiap baris kosong setelah yang pertama ikut hilang bersama duplikat lainnya — daftar yang berisi jarak antarparagraf kembali dengan satu baris kosong di posisi baris kosong pertama. Dan laporan tentang yang berulang menampilkan kuncinya, bukan baris Anda: sudah dipangkas, dan diubah ke huruf kecil jika Anda meminta huruf besar/kecil diabaikan. Entri yang muncul di daftar Anda sebagai Smith dan SMITH karenanya dilaporkan sekali, dalam huruf kecil, dengan hitungan dua. Daftar itu dibatasi pada lima puluh entri yang paling sering muncul.

Apa pun inputnya, outputnya disambung hanya dengan line feed, jadi daftar yang ditempel dari file Windows kehilangan carriage return-nya — biasanya memang itu yang Anda inginkan, dan perlu diketahui jika Anda menempel hasilnya kembali ke sesuatu yang memedulikannya. Satu efek samping lagi: mengaktifkan “Abaikan huruf besar/kecil” mengubah pengurutan sekaligus perbandingan, dan pengurutan kemudian juga tidak lagi membedakan huruf beraksen dari huruf polos, sehingga resume dan résumé muncul berdampingan, bukan terpisah.

Jika Anda butuh hal lain

Jika daftar sebenarnya adalah tabel, perbandingan baris adalah alat yang salah bentuk. CSV di mana “duplikat” berarti dua baris yang sama pada satu kolom bukanlah soal string, dan memperlakukannya demikian akan melewatkan duplikat atau menghapus baris yang hanya tampak mirip. Fitur Hapus Duplikat bawaan spreadsheet melakukannya dengan benar untuk file yang sudah Anda buka, dan mlr uniq -g melakukannya di command line dengan menyebut field penentunya, berapa pun ukurannya.

Untuk daftar yang terlalu besar untuk sebuah tab, atau yang akan Anda bersihkan lagi minggu depan, command line cukup dengan satu ekspresi yang berjalan secara streaming: awk '!seen[$0]++' mempertahankan salinan pertama dan urutan asli, persis seperti yang dilakukan halaman ini secara default, pada file yang lebih besar dari memori Anda. Ekspresi itu tidak memangkas spasi, tidak menyamakan huruf besar/kecil, dan tidak melaporkan apa yang berulang — itulah kompromi yang harus diterima, dan untuk file berisi sepuluh juta baris, itu kompromi yang tepat.