python - 尝试在 Pandas 中构建语料库时内核不断死亡

Question

我过去运行过这段代码并且运行良好。几个月后，它继续导致内核死亡。

我重新安装并更新了所有 conda/python 相关文件。好像没关系。它在最后一行停止，并且没有打印出任何错误消息。

它成功了一次，最后 8 次失败了 7 次。

corpus = df['reviewText']

import nltk
import re
nltk.download('stopwords')

wpt = nltk.WordPunctTokenizer()
stop_words = nltk.corpus.stopwords.words('english')

def normalize_document(doc):
    # lower case and remove special characters\whitespaces
    doc = re.sub(r'[^a-zA-Z\s]', '', doc, re.I|re.A)
    doc = doc.lower()
    doc = doc.strip()
    # tokenize document
    tokens = wpt.tokenize(doc)
    # filter stopwords out of document
    filtered_tokens = [token for token in tokens if token not in stop_words]
    # re-create document from filtered tokens
    doc = ' '.join(filtered_tokens)
    return doc

normalize_corpus = np.vectorize(normalize_document)
norm_corpus = normalize_corpus(corpus)

很高兴听到任何建议或想法。如果有某种方式显示错误，或者内核死机的原因，请告诉我。

Answer 1

这似乎有帮助:

# Get rid of accumulated garbage
import gc
gc.collect()