python - 在 AWS EMR 从属节点中找不到模块

Question

我目前正在 AWS EMR 集群上运行 spark-submit 作业。我开始遇到 python 包问题，在导入过程中找不到模块。

一个明显的解决方案是进入每个单独的节点并安装我的依赖项。如果可能的话，我想避免这种情况。我可以做的另一个解决方案是编写一个引导脚本并创建一个新集群。

最后一个似乎有效的解决方案是我还可以 pip install 我的依赖项并将它们压缩并通过 --py 通过 spark-submit 作业传递它们-文件。尽管随着我的要求增加，这可能会开始变得麻烦。

我可能忽略了任何其他建议或简单的修复方法吗？

Answer 1

bootstrap 是解决方案。编写一个 shell 脚本，pip 安装所有需要的包并将其放入 Bootstrap 选项中。当您创建集群时，它将在所有节点上执行。请记住，如果 Bootstrap 花费的时间太长(1 小时左右？)，它将失败。