Contar palavras

O que conta, e quem faz a contagem

A contagem de palavras não é nossa. As palavras vêm do próprio segmentador Unicode do navegador, consultado com o idioma padrão, e não com um idioma específico, e a página fica com os pedaços que ele marca como palavras. Nada aqui acrescenta regras para hifens, apóstrofos ou dígitos por cima disso — o que você recebe é o julgamento do segmentador sobre onde as palavras começam, e é por isso que o resultado está certo em chinês e japonês e por isso dois navegadores em duas máquinas podem divergir muito ligeiramente no mesmo texto. Em um navegador antigo demais para ter o segmentador, a página volta a dividir pelos espaços e avisa que o número é aproximado, que é o número que contadores mais simples dão o tempo todo sem avisar.

Parágrafos e linhas são contados pelas nossas próprias regras, e elas não são a mesma. O limite de um parágrafo é uma linha em branco — duas quebras de linha com nada além de espaços ou tabulações entre elas —, então um arquivo de texto do Windows solto na página com seus retornos de carro intactos conta como um único parágrafo; texto colado na caixa nunca tem esse problema, porque uma caixa de texto entrega quebras de linha simples. As linhas são contadas como a margem numerada de um editor as conta: uma caixa vazia tem zero linhas, uma palavra é uma linha, e um arquivo que termina com uma quebra de linha tem uma última linha vazia, que conta. Isso é, de propósito, diferente do que o wc da linha de comando informa, que é o número de terminadores de linha.

Duas decisões menores resolvem a maioria das discussões sobre os números. Caracteres sem espaços remove tudo o que o navegador considera espaço em branco, o que inclui o espaço não separável que chega com um texto copiado de uma página web — mas não um espaço de largura zero, que não é espaço em branco e continua na contagem. E a palavra mais longa e o tamanho médio das palavras são medidos em code points, e não nos clusters de grafemas usados pelo número principal de caracteres, então uma palavra com um emoji ou um acento combinante mede mais aqui do que parece. A tabela de frequência oculta cerca de sessenta palavras funcionais comuns do inglês, a menos que você peça para vê-las, e ignora maiúsculas e minúsculas pela regra simples do inglês, seja qual for o idioma em que você escreve.

Quando você precisa de outra coisa

Quando um programa específico vai fazer a avaliação, só o número desse programa vale. Uma revista que pede oito mil palavras incluindo as referências quer dizer o número que o Word dá, e o Word conta campos, notas de rodapé, legendas e caixas de texto de acordo com as próprias configurações. Esta página chega perto em textos comuns, mas não vai bater palavra por palavra, então confira pelo programa que vai avaliar você, e não por este.

Para mais de um documento, a contagem cabe em uma linha de comando. wc -w recebe uma pasta inteira de uma vez e processa em fluxo arquivos maiores que a sua memória; para Markdown, HTML ou LaTeX, passar o arquivo pelo pandoc para texto simples antes remove a marcação, para que blocos de código, destinos de links e tags não sejam contados como texto — que é a diferença entre a contagem de palavras de um repositório e a real. Nenhuma das duas coisas é possível em uma caixa de colar texto com quatrocentos arquivos.