অক্ষর গণনা করুন

চারটি সংখ্যা, কারণ “অক্ষর”-এর চারটি অর্থ

একটি পরিবারের ইমোজি, বা স্কিন টোনসহ থাম্বস-আপের কথা ধরুন। মানুষ দেখে একটি অক্ষর। এটি অদৃশ্য সংযোগকারী দিয়ে জোড়া কয়েকটি কোড পয়েন্টে তৈরি, তাই রেগুলার এক্সপ্রেশন দেখে সাতটি। JavaScript টেক্সট রাখে ১৬-বিট ইউনিটে, আর বেসিক রেঞ্জের বাইরের যেকোনো কিছু দুটি ইউনিট নেয়, তাই সে জানায় এগারোটি। ডেটাবেস কলামের জন্য UTF-8-এ এনকোড করলে এটি নেয় পঁচিশ বাইট। এর কোনো সংখ্যাই ভুল নয়, আবার কোনোটিই একমাত্র উত্তর নয় — কোনটি ঠিক, তা পুরোপুরি নির্ভর করে সীমা কে বেঁধে দিচ্ছে তার ওপর।

তাই বাস্তব প্রশ্ন হলো, সীমাটি কে আরোপ করেছে। VARCHAR হিসেবে ঘোষিত ডেটাবেস কলাম বেশিরভাগ ইঞ্জিনে বাইট গোনে, আর এ কারণেই যে ফিল্ড ২৫৫টি ইংরেজি অক্ষর নেয়, সেটি তার চেয়ে অনেক কম জাপানি অক্ষরেই প্রত্যাখ্যান করে। একটি SMS তার নিজস্ব সাত-বিট বর্ণমালায় ১৬০ অক্ষরের, আর একটি অক্ষরও সেই বর্ণমালার বাইরে পড়লে সঙ্গে সঙ্গে মেসেজপ্রতি ৭০-এ নেমে আসে — একটিমাত্র বাঁকা উদ্ধৃতিচিহ্ন বা ইমোজি একটি মেসেজকে তিনটিতে পরিণত করতে পারে। JavaScript-এ লেখা ফর্ম ভ্যালিডেটর প্রায় সবসময় UTF-16 ইউনিট গোনে, আর এ কারণেই ২৮০ অক্ষরের কথা বলা একটি ফিল্ড ইমোজিতে ভরা, দেখতে ছোট একটি লেখাও প্রত্যাখ্যান করতে পারে।

পাঠক যা দেখেন তার সংখ্যাই সবচেয়ে কঠিন, আর তা গোনা হয় ব্রাউজারের নিজস্ব টেক্সট সেগমেন্টেশন দিয়ে — সেই একই ব্যবস্থা, যা ঠিক করে বাম অ্যারো কি চাপলে কার্সর কোথায় যাবে। মানুষ যা দেখে, তার ক্ষেত্রে “একটি অক্ষর”-এর সঠিক সংজ্ঞা এটিই, আর সরল গণনা যেখানে হোঁচট খায়, সেগুলোও এটি সামলায়: মূল অক্ষর আর যুক্ত চিহ্ন দিয়ে লেখা অ্যাকসেন্টযুক্ত অক্ষর একটিই, আর হিন্দি ও থাই যুক্তবর্ণ গোনা হয় সেই লিপির পাঠক যেভাবে গোনেন, সেভাবে।

সাধারণ ইংরেজি গদ্যে চারটি সংখ্যাই এক, আর এ কারণেই সমস্যাটি ধরা পড়ার আগ পর্যন্ত অদৃশ্য থাকে। ইমোজি, অ্যাকসেন্টযুক্ত ও যুক্ত অক্ষর, অ-লাতিন লিপি আর গাণিতিক চিহ্নে এগুলো আলাদা হয়ে যায় — আর ঠিক এই ইনপুটগুলোই তৈরির তিন মাস পর ডেটাবেসের কোনো ফিল্ডকে নিঃশব্দে কেটে ছোট করে দেয়।

অন্য কিছু দরকার হলে

কোডে ডিফল্ট length নয়, আপনার যা দরকার তা-ই গোনে এমন ফাংশন ব্যবহার করুন। JavaScript-এ Intl.Segmenter গোনে পাঠক যা দেখেন; Python 3-এর স্ট্রিং গোনে কোড পয়েন্ট, আর len(s.encode("utf-8")) গোনে বাইট; PHP-তে ঠিক এই পার্থক্যের জন্যই আছে mb_strlen আর strlen। বেশিরভাগ ভাষার ডিফল্ট হলো ভাষাটির কাছে যেটি সুবিধাজনক, আর তা খুব কমই আপনার সীমার আসল অর্থ।

সীমা যখন ডেটাবেস ফিল্ডের, তখন স্থায়ী সমাধান আরও গোড়ায়। MySQL-এ কলামকে utf8mb4, বা PostgreSQL-এ text হিসেবে ঘোষণা করলে এক ধরনের পুরো কাটা-পড়া বাগই দূর হয় — MySQL-এর পুরোনো utf8 কুখ্যাতভাবে অক্ষরপ্রতি মাত্র তিন বাইট, আর তাতে কোনো ইমোজিই রাখা যায় না। ফর্মে সাবধানে গোনা আসলে এমন একটি কলামের জোড়াতালি, যা শুরুতেই অন্যভাবে ঘোষণা করা উচিত ছিল।