Посчитать символы

Четыре числа, потому что у слова «символ» четыре значения

Возьмите эмодзи семьи или поднятый большой палец с оттенком кожи. Человек видит один символ. Он собран из нескольких кодовых точек, соединённых невидимыми связками, поэтому регулярное выражение видит семь. JavaScript хранит текст в 16-битных единицах, и всё, что выходит за базовый диапазон, занимает две из них, поэтому он сообщает одиннадцать. В кодировке UTF-8 для столбца базы данных это двадцать пять байт. Ни одно из этих чисел не ошибочно, и ни одно не является ответом — правильное целиком зависит от того, что устанавливает ограничение.

Поэтому практический вопрос — кто ввёл лимит. Столбец базы данных, объявленный как VARCHAR, в большинстве СУБД считает байты — поэтому поле, принимающее 255 английских символов, отвергает гораздо меньше японских. SMS — это 160 символов в собственном семибитном алфавите, и лимит падает до 70 на сообщение, как только хотя бы один символ выходит за его пределы, — одна фигурная кавычка или эмодзи может превратить одно сообщение в три. Валидатор формы на JavaScript почти всегда считает единицы UTF-16 — поэтому поле с лимитом в 280 символов может отвергнуть строку с эмодзи, которая выглядит короче.

Подсчёт того, что видит читатель, — самый сложный, и выполняется он собственной сегментацией текста в браузере — тем же механизмом, который решает, куда переместится курсор при нажатии стрелки влево. Это правильное определение «одного символа» для всего, что воспринимает человек, и оно справляется со случаями, на которых спотыкается более простой подсчёт: буква с диакритикой, записанная как базовая буква плюс комбинируемый знак, — это один символ, а кластеры хинди и тайского считаются так, как их воспринимает читатель этих письменностей.

Для обычного английского текста все четыре числа совпадают — поэтому проблема остаётся незаметной, пока не проявится. Они расходятся на эмодзи, на символах с диакритикой и комбинируемых знаках, на нелатинских письменностях и на математических символах — а именно такие данные и приводят к тому, что поле в базе данных молча обрезается через три месяца после её создания.

Если нужно другое

В коде используйте функцию, которая считает то, что вам нужно, а не длину по умолчанию. Intl.Segmenter в JavaScript считает то, что видит читатель; строки Python 3 считают кодовые точки, а len(s.encode("utf-8")) — байты; в PHP есть mb_strlen и strlen именно для этого различия. По умолчанию в большинстве языков выбрано то, что было удобно самому языку, и это редко то, что имеет в виду ваш лимит.

Если ограничение задаёт поле базы данных, надёжное решение — выше по цепочке. Объявление столбца как utf8mb4 в MySQL или text в PostgreSQL устраняет целый класс ошибок усечения — старая кодировка utf8 в MySQL печально известна тем, что отводит на символ только три байта и вообще не может хранить эмодзи. Аккуратный подсчёт в форме — это обходной путь для столбца, который следовало объявить иначе.