python - IO错误: [Errno 2] No such file or directory when run in Flex App Engine

Question

我尝试运行数据流管道，它使用与下面的pickle文件集成的python文件:

数据流.py

    from stopwords import StopWords
    stopwords = StopWords()
    ...
    data = (pipeline | 'read' >> ReadFromText (gs://some/inputData.txt)      
| 'stopwords' >> beam.Map(lambda x:{'id':x['id'],'text': stopwords.validate(x['text'])}))

停用词.py

class StopWords:
def __init__ (self):

module_dir = os.path.dirname(__file__)
self.words = pickle.load(open(os.path.join(module_dir, 'model/sw.p'), "rb"))

然而，我发现了一个错误:

IOError: [Errno 2] No such file or directory: '/usr/local/lib/python2.7/dist-packages/dataflow/model/sw.p'

我尝试调试self.words并且它运行顺利。但是，当我在谷歌云数据流作业中运行它时，它遇到了一个问题。

有人可以帮忙吗？

Answer 1

您的 StopWords 类正在尝试从与 stopwords.py 文件相同的目录加载模型 (sw.p)，但是这些模型似乎尚未与您的代码一起部署。

也许可以尝试将本地的 sw.p 文件放入 Google Cloud Storage 存储桶中，然后从那里加载？