حذف الأسطر المكررة

ما يحدث للأسطر التي تبقى

في هذه الصفحة نوعان مختلفان من التعامل مع المسافات، ومن المفيد ألا تخلط بينهما. القص لأجل المقارنة يبني المفتاح ولا يعدّل أسطرك أبدًا، فالنسخة التي تبقى تحتفظ بمسافاتها الأصلية تمامًا. أما خيارات التنظيف فتفعل العكس: فحذف المسافة البادئة، واختزال سلاسل المسافات وعلامات الجدولة، وقص نهايات الأسطر تعديلات حقيقية، وتحدث قبل حذف أي تكرار، لذا فتفعيل أحدها يغيّر بصمت ما يُعدّ مكررًا، إلى جانب شكل الأسطر.

يُقارَن السطر الفارغ كأي سطر آخر، ما يعني أن كل سطر فارغ بعد الأول يختفي مع بقية المكررات، فالقائمة التي فيها فراغات بين الفقرات تعود بسطر فارغ واحد في موضع الأول. ويعرض تقرير المكررات المفتاح لا سطرك: مقصوصًا، وبأحرف صغيرة إن طلبت تجاهل حالة الأحرف. لذا فالعنصر الذي يظهر في قائمتك بصيغتي Smith وSMITH يُبلغ عنه مرة واحدة، بأحرف صغيرة، وبعدد اثنين. وتقتصر تلك القائمة على الخمسين الأكثر تكرارًا.

أيًا كان ما يدخل، يخرج الناتج مفصولًا بفواصل أسطر (line feed) فقط، لذا تفقد القائمة الملصوقة من ملف Windows علامات الرجوع (carriage return) في الطريق، وهذا ما تريده عادةً، ويستحق المعرفة إن كنت ستلصق النتيجة في شيء يهتم بذلك. وأثر جانبي آخر: تفعيل «تجاهل حالة الأحرف» يغيّر الترتيب إلى جانب المقارنة، ويتوقف الترتيب حينها أيضًا عن التمييز بين الأحرف المُشكَّلة وغير المُشكَّلة، فتظهر resume وrésumé معًا لا متباعدتين.

عندما تحتاج إلى شيء آخر

حين تكون القائمة في الحقيقة جدولًا، فمقارنة الأسطر أداة من الشكل الخطأ. ملف CSV يعني فيه «المكرر» صفين يتفقان في عمود واحد ليس مسألة سلاسل نصية، ومعاملته كذلك إما أن تفوّت المكررات أو تحذف صفوفًا بدت متشابهة فقط. أداة «إزالة التكرارات» في جدول البيانات نفسه تفعل ذلك كما ينبغي لملف مفتوح لديك أصلًا، والأمر mlr uniq -g يفعله في سطر الأوامر بتسمية الحقل الحاسم، وبأي حجم.

لقائمة أكبر من أن تتسع لها علامة تبويب، أو قائمة ستنظّفها مرة أخرى الأسبوع القادم، فسطر الأوامر تعبير واحد يعمل تدفقيًا: awk '!seen[$0]++' يحتفظ بالنسخة الأولى وبالترتيب الأصلي، وهذا بالضبط ما تفعله هذه الصفحة افتراضيًا، على ملف أكبر من ذاكرتك. لا قص فيه، ولا توحيد لحالة الأحرف، ولا تقرير عن المكررات، وهذه هي المقايضة، ولملف من عشرة ملايين سطر فهي المقايضة الصحيحة.