Zeichen zählen

Vier Zahlen, weil „Zeichen“ vier Bedeutungen hat

Nehmen Sie das Familien-Emoji oder einen erhobenen Daumen mit Hautton. Ein Mensch sieht ein Zeichen. Es besteht aus mehreren Codepunkten, verbunden durch unsichtbare Verbinder, also sieht ein regulärer Ausdruck sieben. JavaScript speichert Text in 16-Bit-Einheiten, und alles außerhalb des Grundbereichs belegt zwei davon – also meldet es elf. Als UTF-8 in einer Datenbankspalte belegt es fünfundzwanzig Bytes. Keine dieser Zahlen ist falsch, und keine ist die Antwort – die richtige hängt ganz davon ab, was das Limit setzt.

Die praktische Frage lautet also: Wer hat das Limit festgelegt? Eine Datenbankspalte, die als VARCHAR deklariert ist, zählt in den meisten Systemen Bytes – deshalb nimmt ein Feld, das 255 englische Zeichen annimmt, weit weniger japanische an. Eine SMS hat 160 Zeichen in ihrem eigenen 7-Bit-Alphabet und fällt auf 70 pro Nachricht, sobald ein einziges Zeichen außerhalb davon liegt – ein einziges typografisches Anführungszeichen oder Emoji kann aus einer Nachricht drei machen. Eine Formularprüfung in JavaScript zählt fast immer UTF-16-Einheiten – deshalb kann ein Feld mit 280 Zeichen eine kürzer wirkende Zeichenkette voller Emoji ablehnen.

Die Zahl dessen, was ein Leser sieht, ist am schwersten zu ermitteln und wird mit der browsereigenen Textsegmentierung bestimmt – derselben Technik, die entscheidet, wohin Ihr Cursor springt, wenn Sie die Pfeiltaste nach links drücken. Das ist die richtige Definition von „einem Zeichen“ für alles, was ein Mensch wahrnimmt, und sie meistert die Fälle, an denen einfacheres Zählen scheitert: Ein Buchstabe mit Akzent, geschrieben als Grundbuchstabe plus kombinierendes Zeichen, ist eins, und Cluster in Hindi und Thai werden so gezählt, wie ein Leser dieser Schriften sie zählen würde.

Bei gewöhnlichem englischem Fließtext sind alle vier Zahlen gleich – deshalb bleibt das Problem unsichtbar, bis es das nicht mehr ist. Sie weichen bei Emoji ab, bei Akzentbuchstaben und kombinierenden Zeichen, bei nicht lateinischen Schriften und bei mathematischen Symbolen – und genau das sind die Eingaben, die drei Monate nach dem Aufbau einer Datenbank ein Feld stillschweigend abschneiden.

Wenn Sie etwas anderes brauchen

Verwenden Sie im Code eine Funktion, die zählt, was Sie brauchen, statt der Standardlänge. Intl.Segmenter in JavaScript zählt, was ein Leser sieht; Strings in Python 3 zählen Codepunkte, und len(s.encode("utf-8")) zählt Bytes; PHP hat für genau diese Unterscheidung mb_strlen und strlen. Der Standard ist in den meisten Sprachen das, was der Sprache gerade bequem war – und das ist selten das, was Ihr Limit meint.

Wenn ein Datenbankfeld die Grenze setzt, liegt die dauerhafte Lösung weiter vorne. Eine Spalte in MySQL als utf8mb4 oder in PostgreSQL als text zu deklarieren, beseitigt eine ganze Klasse von Abschneidefehlern – das ältere utf8 in MySQL hat bekanntlich nur drei Bytes pro Zeichen und kann überhaupt kein Emoji speichern. Sorgfältiges Zählen im Formular ist ein Notbehelf für eine Spalte, die anders hätte deklariert werden sollen.