python - 为什么 gensim 的 simple_preprocess Python 分词器似乎跳过了 "i"分词？

Question

list(gensim.utils.simple_preprocess("i you he she I it we you they", deacc=True))

给出结果:

['you', 'he', 'she', 'it', 'we', 'you', 'they']

这正常吗？它会跳过任何单词吗？我应该使用另一个分词器吗？

奖金问题:“deacc=True”参数是什么意思？

Answer 1

正如@user2357112-supports-monica 在他们的评论中提到的，这是 simple_preprocess() 设计行为的一部分，根据其 documentation , 丢弃任何短于 min_len=2 个字符的标记。

您的“奖励问题”也在同一文档中得到了回答:

• deacc (bool, optional) – Remove accent marks from tokens using deaccent()?

(deaccent() 函数是另一个实用函数，在链接中有记录，它的作用与名称和文档所建议的完全相同:从字母中删除重音符号，例如，'é' 变成了 'e'。)