Contar caracteres

Quatro números, porque “caractere” tem quatro significados

Pegue o emoji de uma família, ou um joinha com tom de pele. Uma pessoa vê um caractere. Ele é formado por vários code points unidos por conectores invisíveis, então uma expressão regular vê sete. O JavaScript guarda texto em unidades de 16 bits, e qualquer coisa fora do intervalo básico ocupa duas delas, então ele informa onze. Codificado em UTF-8 para uma coluna de banco de dados, ele ocupa vinte e cinco bytes. Nenhum desses números está errado e nenhum é a resposta — o certo depende inteiramente de quem está impondo o limite.

Então a pergunta prática é quem impôs o limite. Uma coluna de banco de dados declarada como VARCHAR conta bytes na maioria dos bancos, e é por isso que um campo que aceita 255 caracteres em inglês recusa bem menos caracteres em japonês. Um SMS tem 160 caracteres no seu próprio alfabeto de sete bits e cai para 70 por mensagem no instante em que um caractere fica fora dele — uma única aspa curva ou um emoji pode transformar uma mensagem em três. Um validador de formulário em JavaScript quase sempre conta unidades UTF-16, e é por isso que um campo que diz 280 caracteres pode recusar um texto aparentemente mais curto cheio de emojis.

A contagem do que o leitor vê é a mais difícil e é feita com a segmentação de texto do próprio navegador — o mesmo mecanismo que decide para onde o cursor vai quando você aperta a seta para a esquerda. Essa é a definição certa de “um caractere” para qualquer coisa que uma pessoa percebe, e ela resolve os casos que confundem contagens mais simples: uma letra acentuada escrita como letra-base mais um acento combinante conta como um, e agrupamentos em híndi e tailandês são contados do jeito que um leitor dessas escritas contaria.

Para um texto comum em inglês, os quatro números são idênticos, e é por isso que o problema fica invisível até deixar de ficar. Eles divergem em emojis, em caracteres acentuados e combinantes, em escritas não latinas e em símbolos matemáticos — e esses são exatamente os textos que fazem um campo ser truncado sem aviso no banco de dados três meses depois de ter sido criado.

Quando você precisa de outra coisa

No código, use uma função que conte o que você precisa, e não o tamanho padrão. Intl.Segmenter no JavaScript conta o que o leitor vê; strings do Python 3 contam code points, e len(s.encode("utf-8")) conta bytes; o PHP tem mb_strlen e strlen justamente para essa distinção. O padrão na maioria das linguagens é o que foi conveniente para a linguagem, que raramente é o que o seu limite quer dizer.

Quando o limite é um campo de banco de dados, a solução duradoura está na origem. Declarar uma coluna como utf8mb4 no MySQL, ou text no PostgreSQL, elimina toda uma categoria de bugs de truncamento — o antigo utf8 do MySQL é famoso por ter só três bytes por caractere e não conseguir guardar emoji nenhum. Contar com cuidado no formulário é um remendo para uma coluna que deveria ter sido declarada de outro jeito.