単語数をカウント

何を数え、何が数えているのか

単語数を決めているのは、私たちではありません。 単語はブラウザ自体のUnicode分割機能から得ています。特定のロケールではなく既定のロケールで問い合わせ、単語とみなされた部分を残しています。その上にハイフン、アポストロフィ、数字に関する独自のルールは一切加えていません。得られるのは、単語がどこで始まるかについての分割機能の判断そのものです。だからこそ中国語や日本語でも正しい答えになり、同じテキストでもブラウザや端末によってごくわずかに結果が異なることがあります。分割機能がない古いブラウザでは、空白で区切る方法に切り替えて、数値が概算であることをお知らせします。単純なカウンターは、何も言わずに常にこの数値を出しています。

段落と行は独自のルールで数えますが、その2つのルールは同じではありません。段落の区切りは空行、つまりスペースやタブ以外に何もない2つの改行です。そのため、CR（キャリッジリターン）が残ったままのWindowsのテキストファイルをドロップすると、全体が1段落と数えられます。 テキストボックスはLF（改行）で渡すため、ボックスに貼り付けたテキストではこの問題は起きません。行はエディターの行番号と同じように数えます。空のボックスは0行、1単語なら1行で、改行で終わるファイルは最後の空行も数えます。これは、行末記号の数を返すコマンドラインのwcとは、あえて異なる数え方です。

数値をめぐる疑問の多くは、2つの細かな判断で解決します。「空白を除く」文字数では、ブラウザが空白とみなすものをすべて除きます。Webページからコピーしたテキストに含まれるノーブレークスペースも除かれますが、ゼロ幅スペースは空白ではないので数に残ります。また、最長の単語と単語の平均の長さは、メインの文字数で使う書記素クラスターではなくコードポイントで測ります。そのため、絵文字や結合アクセントを含む単語は、見た目より長く表示されます。頻度表では、よく使われる約60個の英語の機能語を、表示を選ばない限り非表示にします。また、どの言語で書いていても、大文字・小文字は英語の単純なルールでそろえます。

ほかの目的には

特定のプログラムで判定されるなら、意味があるのはそのプログラムの数値だけです。 「参考文献を含めて8,000語」とする学術誌が意味しているのはWordが出す数値で、Wordはフィールド、脚注、図表番号、テキストボックスを独自の設定に従って数えています。このページの数値は一般的な文章ならほぼ一致しますが、1語単位では一致しません。提出するときは、このページではなく、判定に使われるツールの数値に合わせてください。

複数の文書を数えるなら、シェルで1行です。wc -wはフォルダー全体を一度に処理でき、メモリより大きなファイルもストリーミングで扱えます。Markdown、HTML、LaTeXなら、先にpandocでプレーンテキストに変換するとマークアップが取り除かれ、コードブロック、リンク先、タグが本文として数えられなくなります。リポジトリの単語数と本当の単語数の差はそこにあります。どちらも、400個のファイルを貼り付けボックスで処理することはできません。