ডুপ্লিকেট লাইন রিমুভ করুন

যে লাইনগুলো রাখেন, সেগুলোর কী হয়

এই পেজে দুই ধরনের স্পেস সামলানোর ব্যবস্থা আছে, আর এ দুটি গুলিয়ে না ফেলাই ভালো। তুলনার জন্য ছাঁটা শুধু কি তৈরি করে, কখনো আপনার লাইন এডিট করে না — যে কপিটি টিকে থাকে, তার মূল স্পেস হুবহু থাকে। গোছানোর অপশনগুলো করে ঠিক উল্টো: ইনডেন্টেশন সরানো, পরপর থাকা স্পেস ও ট্যাব একটিতে নামিয়ে আনা, আর লাইনের প্রান্ত ছাঁটা — এগুলো সত্যিকারের এডিট, আর ডুপ্লিকেট সরানোর আগেই ঘটে, তাই এর কোনোটি চালু করলে লাইন দেখতে কেমন হবে তার পাশাপাশি কোনটি ডুপ্লিকেট ধরা হবে, সেটিও চুপচাপ বদলে যায়।

ফাঁকা লাইনকে অন্য যেকোনো লাইনের মতোই তুলনা করা হয়, অর্থাৎ প্রথমটির পরের প্রতিটি ফাঁকা লাইন অন্য ডুপ্লিকেটের সঙ্গেই হারিয়ে যায় — অনুচ্ছেদের মতো ফাঁক রাখা তালিকা ফিরে আসে একটিমাত্র ফাঁকা লাইন নিয়ে, প্রথমটি যেখানে ছিল সেখানে। আর কী পুনরাবৃত্ত হলো তার রিপোর্ট আপনার লাইন নয়, কি দেখায়: ছাঁটা, আর বড়-ছোট হাতের অক্ষর উপেক্ষা করতে বললে ছোট হাতের। তাই আপনার তালিকায় Smith ও SMITH দুই রূপে থাকা একটি এন্ট্রি একবারই রিপোর্ট হয়, ছোট হাতের অক্ষরে, সংখ্যা দুই। সেই তালিকায় সবচেয়ে বেশিবার আসা পঞ্চাশটি পর্যন্ত দেখানো হয়।

যা-ই দিন না কেন, যা বের হয় তা শুধু লাইন ফিড দিয়ে জোড়া থাকে, তাই Windows ফাইল থেকে পেস্ট করা তালিকা পথে তার ক্যারেজ রিটার্ন হারায় — সাধারণত আপনি এটিই চান, তবে ফলাফল এমন কোথাও আবার পেস্ট করলে, যেখানে এর গুরুত্ব আছে, জেনে রাখা ভালো। আরেকটি পার্শ্বপ্রতিক্রিয়া: “বড়-ছোট হাতের অক্ষর উপেক্ষা করুন” চালু করলে তুলনার পাশাপাশি সাজানোও বদলায়, আর তখন সাজানোর সময় অ্যাকসেন্টযুক্ত ও সাধারণ অক্ষরের পার্থক্যও আর করা হয় না, তাই resume আর résumé আলাদা না হয়ে একসাথে আসে।

অন্য কিছু দরকার হলে

তালিকাটি যখন আসলে একটি টেবিল, তখন লাইন তুলনা ভুল গড়নের টুল। যে CSV-তে “ডুপ্লিকেট” মানে এক কলামে মিলে যাওয়া দুটি সারি, তা স্ট্রিংয়ের প্রশ্ন নয়, আর সেভাবে দেখলে হয় ডুপ্লিকেট ধরা পড়ে না, নয়তো শুধু দেখতে একই রকম সারিগুলো মুছে যায়। আগে থেকে খোলা ফাইলের জন্য স্প্রেডশিটের নিজস্ব Remove Duplicates কাজটি ঠিকভাবে করে, আর কমান্ড লাইনে mlr uniq -g সিদ্ধান্ত নেওয়া ফিল্ডটির নাম দিয়ে যেকোনো সাইজে একই কাজ করে।

ট্যাবে ধরে না এমন বড় তালিকা, বা যে তালিকা আগামী সপ্তাহে আবার পরিষ্কার করবেন, তার জন্য কমান্ড লাইনে একটিমাত্র স্ট্রিমিং এক্সপ্রেশনই যথেষ্ট: awk '!seen[$0]++' প্রথম কপি আর মূল ক্রম রাখে — এই পেজ ডিফল্টভাবে ঠিক যা করে — আপনার মেমোরির চেয়ে বড় ফাইলেও। এতে ছাঁটা নেই, বড়-ছোট হাতের অক্ষর মেলানো নেই, কী পুনরাবৃত্ত হলো তার রিপোর্টও নেই — এটিই বিনিময়, আর এক কোটি লাইনের ফাইলের জন্য এটিই সঠিক।