डुप्लिकेट लाइनें हटाएं

जो लाइनें आप रखते हैं, उनका क्या होता है

इस पेज पर व्हाइटस्पेस संभालने के दो अलग-अलग तरीक़े हैं, और इन्हें आपस में न मिलाना ठीक है। तुलना के लिए ट्रिम करना सिर्फ़ की (key) बनाता है और आपकी लाइनें कभी एडिट नहीं करता — जो कॉपी बचती है, उसकी ओरिजिनल स्पेसिंग बिल्कुल वैसी ही रहती है। साफ़ करने वाले विकल्प इसका उल्टा करते हैं: इंडेंटेशन हटाना, लगातार आने वाले स्पेस और टैब को समेटना, और लाइनों के सिरे ट्रिम करना असली एडिट हैं, और ये डुप्लिकेट हटाने से पहले होते हैं, इसलिए इनमें से कोई चालू करने से चुपचाप यह भी बदल जाता है कि डुप्लिकेट किसे माना जाए, और यह भी कि लाइनें कैसी दिखती हैं।

ख़ाली लाइन की तुलना भी किसी दूसरी लाइन की तरह होती है, जिसका मतलब है कि पहली के बाद की हर ख़ाली लाइन बाक़ी डुप्लिकेट के साथ ग़ायब हो जाती है — पैराग्राफ़ के बीच जगह वाली सूची एक ही ख़ाली लाइन के साथ लौटती है, उसी जगह पर जहां पहली थी। और क्या दोहराया गया, इसकी रिपोर्ट आपकी लाइन नहीं, की दिखाती है: ट्रिम की हुई, और अगर आपने कैपिटल/स्मॉल अक्षरों को नज़रअंदाज़ करने को कहा था तो लोअरकेस में। इसलिए आपकी सूची में Smith और SMITH दोनों रूपों में आने वाली एंट्री एक बार, लोअरकेस में, दो की गिनती के साथ दिखती है। यह सूची सबसे ज़्यादा आने वाली पचास एंट्री तक सीमित है।

अंदर चाहे जो जाए, बाहर आने वाला नतीजा सिर्फ़ लाइन फ़ीड से जुड़ा होता है, इसलिए Windows फ़ाइल से पेस्ट की गई सूची रास्ते में अपने कैरिज रिटर्न खो देती है — आम तौर पर यही आप चाहते थे, पर अगर आप नतीजा किसी ऐसी चीज़ में वापस पेस्ट कर रहे हैं जिसे इससे फ़र्क़ पड़ता है, तो यह जानना ज़रूरी है। एक और असर: “कैपिटल/स्मॉल अक्षरों को नज़रअंदाज़ करें” चालू करने से तुलना के साथ सॉर्टिंग भी बदलती है, और तब सॉर्ट एक्सेंट वाले अक्षरों को सादे अक्षरों से अलग करना भी बंद कर देता है, इसलिए resume और résumé अलग-अलग नहीं, साथ-साथ आते हैं।

जब आपको कुछ और चाहिए

जब सूची असल में एक टेबल हो, तो लाइनों की तुलना ग़लत तरह का टूल है। ऐसी CSV जिसमें “डुप्लिकेट” का मतलब है दो पंक्तियां जो एक कॉलम में मेल खाती हों, स्ट्रिंग का सवाल नहीं है, और उसे ऐसा मानने से या तो डुप्लिकेट छूट जाते हैं या वे पंक्तियां हट जाती हैं जो बस एक जैसी दिखती थीं। पहले से खुली फ़ाइल के लिए स्प्रेडशीट का अपना Remove Duplicates यह ठीक से करता है, और mlr uniq -g कमांड लाइन पर फ़ैसला करने वाले फ़ील्ड का नाम लेकर, किसी भी साइज़ पर यही करता है।

ऐसी सूची के लिए जो टैब में न समाए, या जिसे आप अगले हफ़्ते फिर साफ़ करेंगे, कमांड लाइन पर स्ट्रीम करने वाला एक ही एक्सप्रेशन काफ़ी है: awk '!seen[$0]++' पहली कॉपी और ओरिजिनल क्रम रखता है, ठीक वही जो यह पेज डिफ़ॉल्ट रूप से करता है, और वह भी आपकी मेमोरी से बड़ी फ़ाइल पर। इसमें न ट्रिमिंग है, न केस को एक करना, न यह रिपोर्ट कि क्या दोहराया गया — यही सौदा है, और एक करोड़ लाइनों वाली फ़ाइल के लिए यही सही है।