什么算一个词
一个词是一段至少包含一个字母或数字的连续文本,按空格切开。正因为这条规则,`don’t`、`3.14` 和 `some/path/notes.txt` 各算一个词——没有人会把它们叫成两个词——而单独一个破折号根本不算词。带连字符的复合词算一个还是几个,由开关决定;仅仅这一项设置,就能让普通文章的词数变化几个百分点,在满是技术复合词的页面上甚至能差出十分之一。
中文和日文词与词之间不写空格,若沿用英文的空格切分,整段话会被算成一个词。因此页面把每个汉字、平假名和片假名各算一个词,这也是文字处理软件的惯例。韩文被有意排除:谚文用空格分词,音节本身不是词。emoji 只算字符,从不计入词数;词频表读取单词时会去掉两侧标点,所以 `stop,` 和 `stop.` 会合并为同一条。页面只应用这条 CJK 规则,不做其他语言识别,因此对没有空格分词传统的文字,结果仍应按“字符级词数”来理解。