gpt4 book ai didi

python - 要下载什么才能使 nltk.tokenize.word_tokenize 工作?

转载 作者:太空狗 更新时间:2023-10-29 17:02:07 29 4
gpt4 key购买 nike

我将在我的帐户空间配额非常有限的集群上使用 nltk.tokenize.word_tokenize。在家里,我通过 nltk.download() 下载了所有 nltk 资源,但我发现它需要大约 2.5GB。

这对我来说似乎有点矫枉过正。您能否建议 nltk.tokenize.word_tokenize 的最小(或几乎最小)依赖项是什么?到目前为止,我已经看到了 nltk.download('punkt') 但我不确定它是否足够以及大小是多少。我究竟应该运行什么才能使其正常工作?

最佳答案

你是对的。您需要 Punkt Tokenizer 模型。它有 13 MB,nltk.download('punkt') 应该可以解决问题。

关于python - 要下载什么才能使 nltk.tokenize.word_tokenize 工作?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/37101114/

29 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com