Python nltk 资源 u'tokenizers/punkt/english.pickle' 未找到 bu 它实际上存在

Question

这是我的代码，只是使用 nltk 执行一些标记化。

import nltk
from nltk.corpus import stopwords
tokens = nltk.word_tokenize(doc, language='english')
# remove all the stopwords
filtered = [w for w in tokens if (w not in stopwords.words('english')) and (w.isalnum())]

我已经下载了 punkt 包。我还尝试将正确的文件夹复制并粘贴到错误消息所说的搜索位置。这是我在其他类似问题中看到的错误。

未找到资源 u'tokenizers/punkt/english.pickle'。
请使用NLTK下载器获取资源:>>>

nltk.download() 搜索范围:

- '/root/nltk_data'
- '/usr/share/nltk_data'
- '/usr/local/share/nltk_data'
- '/usr/lib/nltk_data'
- '/usr/local/lib/nltk_data'
- u''

我什至尝试重新安装整个 nltk 和软件包，但没有成功。有关环境的有用信息:-通过Pycharm IDE的终端运行- 操作系统:Ubuntu 15-nltk 使用 pip 安装-nltk_data安装在默认位置/home/user/nltk_data

请不要告诉我使用 nltk.download('punkt') 因为我有它。感谢您的帮助。

Answer 1

您必须安装nltk-punkt才能进行标记化。

• 如何？

  1. 打开终端。
  2. 执行python命令进入python环境。
  3. 执行导入nltk
  4. 执行nltk.download('punkt')

您的终端可能如下所示: