python - 在 aws 中出现被杀死的错误，但在 Mac 中有效

Question

当我尝试在 aws ubuntu 实例中运行以下 pickle 程序时，我收到“killed”消息并且它没有生成 pickle。但是，当我在本地机器(Mac)上尝试时，同样有效。我正在使用python3运行程序:

import nltk
import random
from nltk.classify.scikitlearn import SklearnClassifier
import pickle
from nltk.tokenize import word_tokenize

documents_f = open("documents.pickle", "rb")
documents = pickle.load(documents_f)
documents_f.close()

word_features5k_f = open("word_features5k.pickle", "rb")
word_features = pickle.load(word_features5k_f)
word_features5k_f.close()


def find_features(document):
    words = word_tokenize(document)
    features = {}
    for w in word_features:
        features[w] = (w in words)
    #print (features)
    return features

featuresets = [(find_features(rev), category) for (rev, category) in documents]
save_featuresets = open("featuresets.pickle","wb")
pickle.dump(featuresets, save_featuresets)
save_featuresets.close()

我相信这可能是由于内存问题，因为我使用的是 aws free 轮胎。有人请告诉我如何解决这个问题？

问题:

$ python3 my_pickle.py
Killed

Answer 1

您的 EC2 实例内存不足，您的进程正在被 the OOM killer 杀死.

升级到更大的实例类型，或者想办法让您的进程使用更少的内存。 (例如，您可能需要考虑一次处理一个文档，而不是一次加载所有文档。)