python - 在 EMR 上的 MRJob 中导入模块

Question

简单的问题:我有一个模块 headers.py，它定义了我在 MRJob 主脚本中需要的几个变量。我应该能够用

python MRMyJob -r emr --file=headers.py s3://input/data/path

然后在我的 MRJob 脚本 (MRMyJob) 中，以下应该起作用:

from headers import header1, header2, header3

对吧？来自 mrjob --help 页面:“--file=UPLOAD_FILES 将文件复制到此脚本的工作目录。你 可以多次使用 --file。”

当我尝试导入它时，我仍然收到“没有名为标题的模块”。

Answer 1

headers.py 显然没有放在您的远程 PYTHONPATH 中。参见 the docs关于如何让额外的模块进入集群；你必须先把它们放在压缩包里。