Hitung karakter

Empat angka, karena “karakter” punya empat arti

Ambil contoh emoji keluarga, atau jempol dengan warna kulit. Manusia melihat satu karakter. Emoji itu dibangun dari beberapa code point yang disambung penghubung tak terlihat, jadi regular expression melihat tujuh. JavaScript menyimpan teks dalam unit 16-bit dan apa pun di luar rentang dasar memakan dua unit, jadi hasilnya sebelas. Jika di-encode sebagai UTF-8 untuk kolom database, emoji itu menempati dua puluh lima byte. Tidak ada angka yang salah dan tidak ada yang merupakan jawaban tunggal — angka yang tepat sepenuhnya bergantung pada apa yang membatasi.

Jadi pertanyaan praktisnya adalah siapa yang menetapkan batas. Kolom database yang dideklarasikan sebagai VARCHAR menghitung byte di sebagian besar engine, itulah sebabnya field yang menerima 255 karakter bahasa Inggris menolak karakter Jepang yang jauh lebih sedikit. SMS berisi 160 karakter dalam alfabet tujuh bit miliknya sendiri, dan turun menjadi 70 per pesan begitu satu karakter berada di luar alfabet itu — satu tanda kutip melengkung atau emoji bisa mengubah satu pesan menjadi tiga. Validator formulir di JavaScript hampir selalu menghitung unit UTF-16, itulah sebabnya field yang menyebut 280 karakter bisa menolak teks penuh emoji yang tampak lebih pendek.

Hitungan atas apa yang dilihat pembaca adalah yang paling sulit, dan dilakukan dengan segmentasi teks milik browser sendiri — mesin yang sama yang menentukan ke mana kursor berpindah saat Anda menekan tombol panah kiri. Itulah definisi “satu karakter” yang tepat untuk apa pun yang dilihat manusia, dan definisi ini menangani kasus yang menjebak penghitungan sederhana: huruf beraksen yang ditulis sebagai huruf dasar plus tanda gabungan dihitung satu, dan gugus aksara Hindi serta Thai dihitung sebagaimana pembaca aksara itu menghitungnya.

Untuk tulisan bahasa Inggris biasa, keempat angka itu identik, itulah sebabnya masalahnya tidak terlihat sampai suatu saat muncul. Keempatnya berbeda pada emoji, pada karakter beraksen dan gabungan, pada aksara non-Latin, dan pada simbol matematika — dan justru input-input itulah yang membuat sebuah field terpotong diam-diam di database tiga bulan setelah dibangun.

Jika Anda butuh hal lain

Di dalam kode, gunakan fungsi yang menghitung apa yang Anda perlukan, bukan panjang bawaan. Intl.Segmenter di JavaScript menghitung apa yang dilihat pembaca; string di Python 3 menghitung code point dan len(s.encode("utf-8")) menghitung byte; PHP punya mb_strlen dan strlen justru untuk perbedaan ini. Bawaan di sebagian besar bahasa adalah yang dianggap praktis oleh bahasa itu, dan jarang sama dengan yang dimaksud batas Anda.

Jika field database yang menjadi batasannya, perbaikan yang tahan lama ada di hulu. Mendeklarasikan kolom sebagai utf8mb4 di MySQL, atau text di PostgreSQL, menghilangkan satu golongan penuh bug pemotongan — utf8 lama di MySQL terkenal hanya tiga byte per karakter dan sama sekali tidak bisa menyimpan emoji. Menghitung dengan cermat di formulir hanyalah solusi sementara untuk kolom yang seharusnya dideklarasikan secara berbeda.