Đếm ký tự

Bốn con số, vì “ký tự” có bốn nghĩa

Lấy ví dụ emoji gia đình, hoặc emoji giơ ngón cái có màu da. Con người thấy một ký tự. Nó được ghép từ nhiều code point nối với nhau bằng các ký tự nối vô hình, nên biểu thức chính quy thấy bảy. JavaScript lưu văn bản theo đơn vị 16 bit và mọi thứ nằm ngoài dải cơ bản chiếm hai đơn vị, nên nó báo mười một. Mã hóa UTF-8 cho một cột cơ sở dữ liệu, nó chiếm hai mươi lăm byte. Không con số nào sai và cũng không con số nào là đáp án — con số đúng hoàn toàn tùy vào thứ đang đặt ra giới hạn.

Vậy câu hỏi thực tế là ai đặt ra giới hạn. Một cột cơ sở dữ liệu khai báo VARCHAR đếm theo byte ở hầu hết hệ quản trị, đó là lý do một trường nhận được 255 ký tự tiếng Anh lại từ chối khi chưa tới số đó ký tự tiếng Nhật. Một tin nhắn SMS dài 160 ký tự trong bảng chữ cái 7 bit riêng của nó, và giảm xuống 70 ký tự mỗi tin ngay khi có một ký tự nằm ngoài bảng đó — chỉ một dấu nháy cong hay một emoji cũng có thể biến một tin thành ba. Bộ kiểm tra biểu mẫu viết bằng JavaScript gần như luôn đếm đơn vị UTF-16, đó là lý do một trường ghi 280 ký tự có thể từ chối một chuỗi trông ngắn hơn nhưng đầy emoji.

Số ký tự mà người đọc nhìn thấy là con số khó đếm nhất, và được tính bằng tính năng phân đoạn văn bản có sẵn của trình duyệt — cùng cơ chế quyết định con trỏ của bạn nhảy đến đâu khi nhấn phím mũi tên trái. Đó là định nghĩa đúng của “một ký tự” cho mọi thứ con người cảm nhận, và nó xử lý được những trường hợp làm cách đếm đơn giản bị sai: một chữ có dấu được viết bằng chữ cơ sở cộng dấu kết hợp vẫn là một, và các cụm chữ Hindi và Thái được đếm theo cách người đọc các hệ chữ đó đếm.

Với văn xuôi tiếng Anh thông thường, cả bốn con số đều bằng nhau, đó là lý do vấn đề này cứ ẩn mình cho đến khi lộ ra. Chúng khác nhau ở emoji, ở chữ có dấu và ký tự kết hợp, ở các hệ chữ không phải Latin và ở ký hiệu toán học — và đó chính là những dữ liệu khiến một trường bị cắt cụt âm thầm trong cơ sở dữ liệu ba tháng sau khi được xây dựng.

Khi bạn cần công cụ khác

Trong code, hãy dùng hàm đếm đúng thứ bạn cần thay vì độ dài mặc định. Intl.Segmenter trong JavaScript đếm những gì người đọc nhìn thấy; chuỗi trong Python 3 đếm code point và len(s.encode("utf-8")) đếm byte; PHP có mb_strlen và strlen chính là để phân biệt điều này. Mặc định trong hầu hết ngôn ngữ là cách nào tiện cho ngôn ngữ đó, hiếm khi là cách mà giới hạn của bạn muốn nói.

Khi một trường cơ sở dữ liệu là ràng buộc, cách sửa bền vững nằm ở phía gốc. Khai báo cột là utf8mb4 trong MySQL, hoặc text trong PostgreSQL, sẽ loại bỏ cả một nhóm lỗi cắt cụt — kiểu utf8 cũ trong MySQL nổi tiếng là chỉ có ba byte mỗi ký tự và hoàn toàn không lưu được emoji. Đếm cẩn thận ở biểu mẫu chỉ là cách chữa cháy cho một cột lẽ ra phải được khai báo khác.