Посчитать слова

Что считается и кто считает

Подсчёт слов — не наш. Слова определяет собственный Unicode-сегментатор браузера, которому задаётся локаль по умолчанию, а не конкретная, и страница оставляет фрагменты, отмеченные им как словоподобные. Никаких своих правил для дефисов, апострофов или цифр поверх этого не добавляется — вы получаете суждение сегментатора о том, где начинаются слова. Поэтому ответ верен для китайского и японского, и поэтому два браузера на двух компьютерах могут очень немного расходиться на одном и том же тексте. В браузере настолько старом, что сегментатора в нём нет, страница переходит к разбиению по пробелам и сообщает, что цифра приблизительная, — именно такое число простые счётчики выдают всегда, не предупреждая об этом.

Абзацы и строки считаются по нашим собственным правилам, и правила эти разные. Граница абзаца — пустая строка: два переноса строки, между которыми только пробелы или табуляции, — поэтому текстовый файл Windows, перетащенный с сохранёнными символами возврата каретки, считается одним абзацем; у текста, вставленного в поле, такой проблемы нет, потому что текстовое поле передаёт переводы строк. Строки считаются так, как их нумерует редактор: пустое поле — ноль строк, одно слово — одна строка, а у файла, который заканчивается переносом строки, есть пустая последняя строка, и она учитывается. Это сознательно не совпадает с тем, что выдаёт wc в командной строке: он считает число символов конца строки.

Два небольших решения снимают большинство споров о цифрах. «Символы без пробелов» исключают всё, что браузер считает пробельными символами, включая неразрывный пробел, который приходит вместе с текстом, скопированным с веб-страницы, — но не пробел нулевой ширины: он не пробельный и остаётся в подсчёте. А самое длинное слово и средняя длина слова измеряются в кодовых точках, а не в графемных кластерах, которые использует основной подсчёт символов, поэтому слово с эмодзи или комбинируемым диакритическим знаком здесь оказывается длиннее, чем выглядит. Таблица частотности скрывает около шестидесяти частых служебных слов английского языка, если вы не попросите их показать, и приводит регистр по простому английскому правилу независимо от языка, на котором вы пишете.

Если нужно другое

Когда оценивать будет конкретная программа, значение имеет только её цифра. Если журнал пишет «восемь тысяч слов вместе со списком литературы», имеется в виду число, которое выдаёт Word, а Word считает поля, сноски, подписи и текстовые поля согласно своим настройкам. На обычном тексте эта страница даст близкий результат, но не совпадёт до слова, так что ориентируйтесь на тот инструмент, которым вас будут проверять, а не на этот.

Для большего, чем один документ, подсчёт — это одна строка в терминале. wc -w обрабатывает целую папку сразу и читает потоком файлы больше вашей памяти; для Markdown, HTML или LaTeX, если сначала прогнать файл через pandoc в простой текст, разметка исчезнет, и блоки кода, адреса ссылок и теги не будут считаться текстом, — в этом и разница между подсчётом слов по репозиторию и настоящим. Ни то ни другое поле для вставки не сделает для четырёхсот файлов.