python - 使用 Python 从文本中删除非英语单词

Question

我正在对 python 进行数据清理练习，我正在清理的文本包含我想删除的意大利语单词。我一直在网上搜索是否可以使用像 nltk 这样的工具包在 Python 上执行此操作。

例如给定一些文本:

"Io andiamo to the beach with my amico."

我想留下:

"to the beach with my" 

有人知道如何做到这一点吗？任何帮助将非常感激。

Answer 1

您可以使用来自 NLTK 的 words 语料库:

import nltk
words = set(nltk.corpus.words.words())

sent = "Io andiamo to the beach with my amico."
" ".join(w for w in nltk.wordpunct_tokenize(sent) \
         if w.lower() in words or not w.isalpha())
# 'Io to the beach with my'

不幸的是，Io 恰好是一个英文单词。一般来说，很难判断一个词是不是英文。