EMR 上的 Python 依赖管理

Question

我正在通过 mrjob/boto 模块向亚马逊的 EMR 发送代码。我有一些外部 python 依赖项(即 numpy、boto 等)，目前必须下载 python 包的源代码，并将它们作为 tarball 发送到 mrjob.config 文件的“python_archives”字段中。

这使得依赖项管理比我想要的更困惑，我想知道我是否可以以某种方式使用我用于 virtualenv 设置的相同 requirements.txt 文件来引导具有我的依赖项的 emr 实例。是否可以在 EMR 实例上设置 virtualenv 并执行类似的操作:

pip install -r requirements.txt

我会在本地吗？

Answer 1

完成此操作的一种方法是使用 bootstrap action .您可以使用它们来运行 shell 脚本。

如果你有一个设置 python 文件，它执行如下操作:

requirements = open("requirements.txt", "r")
shell_script = open("pip.sh", "w+")
shell_script.write("sudo apt-get install python-pip\n")
for line in requirements:
    shell_script.write("sudo pip install -I " + line)

然后您可以将其作为引导操作运行，而无需上传您的 requirements.txt