Contar caracteres

Cuatro cifras, porque “carácter” tiene cuatro significados

Toma el emoji de una familia, o un pulgar arriba con un tono de piel. Una persona ve un carácter. Está formado por varios puntos de código unidos por conectores invisibles, así que una expresión regular ve siete. JavaScript guarda el texto en unidades de 16 bits y todo lo que queda fuera del rango básico ocupa dos, así que informa once. Codificado como UTF-8 para una columna de base de datos, ocupa veinticinco bytes. Ninguna de estas cifras es incorrecta y ninguna es la respuesta: la correcta depende por completo de qué impone el límite.

Así que la pregunta práctica es quién impuso el límite. Una columna de base de datos declarada como VARCHAR cuenta bytes en la mayoría de los motores, y por eso un campo que acepta 255 caracteres en inglés rechaza muchos menos en japonés. Un SMS tiene 160 caracteres en su propio alfabeto de siete bits, y baja a 70 por mensaje en cuanto un carácter queda fuera de él: una sola comilla tipográfica o un emoji puede convertir un mensaje en tres. Un validador de formularios en JavaScript casi siempre cuenta unidades UTF-16, y por eso un campo que dice 280 caracteres puede rechazar una cadena que parece más corta pero está llena de emoji.

El conteo de lo que ve un lector es el más difícil, y se hace con la segmentación de texto del propio navegador, el mismo mecanismo que decide adónde va el cursor cuando pulsas la flecha izquierda. Esa es la definición correcta de “un carácter” para todo lo que percibe una persona, y resuelve los casos que confunden a los conteos más simples: una letra acentuada escrita como letra base más una marca combinada cuenta como una, y los grupos del hindi y del tailandés se cuentan como los contaría un lector de esas escrituras.

En prosa inglesa común, las cuatro cifras son idénticas, y por eso el problema pasa desapercibido hasta que deja de hacerlo. Divergen con los emoji, los caracteres acentuados y combinados, las escrituras no latinas y los símbolos matemáticos, y esas son justo las entradas que hacen que un campo se trunque sin aviso en una base de datos tres meses después de haberse creado.

Si buscas otra cosa

En el código, usa una función que cuente lo que necesitas en lugar de la longitud predeterminada. Intl.Segmenter en JavaScript cuenta lo que ve un lector; las cadenas de Python 3 cuentan puntos de código y len(s.encode("utf-8")) cuenta bytes; PHP tiene mb_strlen frente a strlen justo para esta distinción. El valor predeterminado en la mayoría de los lenguajes es el que le resultó cómodo al lenguaje, que rara vez es el que quiere decir tu límite.

Cuando la restricción es un campo de base de datos, la solución duradera está antes. Declarar una columna como utf8mb4 en MySQL, o como text en PostgreSQL, elimina toda una clase de errores de truncamiento; el antiguo utf8 de MySQL es, como se sabe, de solo tres bytes por carácter y no puede guardar ningún emoji. Contar con cuidado en el formulario es un parche para una columna que debió declararse de otra manera.