gpt4 book ai didi

python - 如何使用 Python nltk.tokenize 将包含停用词的短语视为单个标记

转载 作者:太空宇宙 更新时间:2023-11-03 11:13:46 25 4
gpt4 key购买 nike

<分区>

可以通过使用 nltk.tokenize 删除一些不必要的停用词来对字符串进行标记化.但是,如何将包含停用词的短语标记为单个标记,同时删除其他停用词?

例如:

输入:特朗普是美国总统。

输出:['特朗普','美国总统']

如何获得只删除“is”和第一个“the”但不删除“of”和第二个“the”的结果?

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com