ڈپلیکیٹ لائنیں ہٹائیں

جو لائنیں آپ رکھتے ہیں ان کا کیا ہوتا ہے

اس صفحے پر اسپیس سنبھالنے کے دو مختلف طریقے ہیں اور بہتر ہے کہ انہیں گڈمڈ نہ کریں۔ موازنے کے لیے تراشنا صرف key بناتا ہے اور آپ کی لائنوں کو کبھی ایڈٹ نہیں کرتا — جو کاپی باقی رہتی ہے اس کی اصل اسپیسنگ بالکل ویسی ہی رہتی ہے۔ صفائی والے آپشنز اس کے الٹ کرتے ہیں: انڈینٹیشن ہٹانا، اسپیسز اور ٹیبز کے سلسلوں کو ایک کرنا، اور لائنوں کے سرے تراشنا اصل ایڈٹس ہیں، اور یہ ڈپلیکیٹس ہٹانے سے پہلے ہوتے ہیں، اس لیے ان میں سے کوئی آن کرنے سے خاموشی سے یہ بھی بدل جاتا ہے کہ ڈپلیکیٹ کسے مانا جائے، اور یہ بھی کہ لائنیں کیسی دکھتی ہیں۔

خالی لائن کا موازنہ بھی کسی دوسری لائن کی طرح ہوتا ہے، جس کا مطلب ہے کہ پہلی کے بعد ہر خالی لائن باقی ڈپلیکیٹس کے ساتھ غائب ہو جاتی ہے — پیراگراف کے وقفوں والی فہرست میں صرف ایک خالی لائن باقی رہتی ہے، اسی جگہ جہاں پہلی تھی۔ اور جو دہرایا گیا اس کی رپورٹ آپ کی لائن نہیں بلکہ key دکھاتی ہے: تراشی ہوئی، اور اگر آپ نے بڑے چھوٹے حروف نظر انداز کرنے کو کہا ہو تو چھوٹے حروف میں۔ اس لیے جو اندراج آپ کی فہرست میں Smith اور SMITH دونوں صورتوں میں ہو، وہ ایک بار، چھوٹے حروف میں، دو کی تعداد کے ساتھ رپورٹ ہوتا ہے۔ یہ فہرست پچاس سب سے عام اندراجات تک محدود ہے۔

اندر جو بھی جائے، باہر آنے والا نتیجہ صرف line feeds سے جڑا ہوتا ہے، اس لیے Windows فائل سے پیسٹ کی گئی فہرست راستے میں اپنے carriage returns کھو دیتی ہے — عموماً آپ یہی چاہتے ہیں، اور اگر آپ نتیجہ واپس کسی ایسی چیز میں پیسٹ کر رہے ہیں جسے اس کی پروا ہو تو یہ جاننا مفید ہے۔ ایک اور ضمنی اثر: “بڑے چھوٹے حروف نظر انداز کریں” آن کرنے سے موازنے کے ساتھ ترتیب بھی بدل جاتی ہے، اور پھر ترتیب اعراب والے حروف کو سادہ حروف سے الگ کرنا بھی چھوڑ دیتی ہے، اس لیے resume اور résumé الگ الگ نہیں بلکہ ساتھ ساتھ آتے ہیں۔

جب آپ کو کچھ اور چاہیے

جب فہرست دراصل ٹیبل ہو تو لائنوں کا موازنہ غلط قسم کا ٹول ہے۔ ایسی CSV جس میں “ڈپلیکیٹ” کا مطلب ہو کہ دو روز ایک کالم پر متفق ہیں، strings کا سوال نہیں، اور اسے ایسا سمجھنے سے یا تو ڈپلیکیٹس چھوٹ جاتے ہیں یا وہ روز ہٹ جاتی ہیں جو صرف ملتی جلتی دکھتی تھیں۔ جو فائل آپ پہلے سے کھولے بیٹھے ہیں، اس کے لیے اسپریڈشیٹ کا اپنا Remove Duplicates یہ کام صحیح کرتا ہے، اور mlr uniq -g کمانڈ لائن پر فیصلہ کرنے والی فیلڈ کا نام لے کر یہی کرتا ہے، کسی بھی سائز پر۔

جو فہرست ٹیب میں سمانے کے لیے بہت بڑی ہو، یا جسے آپ اگلے ہفتے پھر صاف کریں گے، اس کے لیے کمانڈ لائن پر ایک ہی ایکسپریشن کافی ہے جو اسٹریم کرتا ہے: awk '!seen[$0]++' پہلی کاپی اور اصل ترتیب رکھتا ہے، جو بالکل وہی ہے جو یہ صفحہ ڈیفالٹ طور پر کرتا ہے، اور آپ کی میموری سے بڑی فائل پر بھی۔ اس میں نہ تراشنا ہے، نہ بڑے چھوٹے حروف کو یکساں کرنا، نہ اس کی رپورٹ کہ کیا دہرایا گیا — یہی سودا ہے، اور ایک کروڑ لائنوں کی فائل کے لیے یہی درست سودا ہے۔