numpy - spark-submitting 时没有名为 numpy 的模块

Question

我正在提交一个导入 numpy 的 python 文件，但我得到一个 no module named numpy错误。

$ spark-submit --py-files projects/other_requirements.egg projects/jobs/my_numpy_als.py
Traceback (most recent call last):
  File "/usr/local/www/my_numpy_als.py", line 13, in <module>
    from pyspark.mllib.recommendation import ALS
  File "/usr/lib/spark/python/pyspark/mllib/__init__.py", line 24, in <module>
    import numpy
ImportError: No module named numpy

我在想我会为 numpy-python-files 拉一个鸡蛋，但我在弄清楚如何构建那个鸡蛋时遇到了麻烦。但后来我突然想到 pyspark 本身使用 numpy。引入我自己的 numpy 版本会很愚蠢。

对在这里做适当的事情有任何想法吗？

Answer 1

我通过配置一个包含以下内容(除其他外)的小型引导脚本在所有 emr 节点上安装 numpy 来实现这一点。

#!/bin/bash -xe
sudo yum install python-numpy python-scipy -y

然后通过将以下选项添加到 aws emr 命令来配置要在启动集群时执行的引导脚本(以下示例为引导脚本提供了一个参数)

--bootstrap-actions Path=s3://some-bucket/keylocation/bootstrap.sh,Name=setup_dependencies,Args=[s3://some-bucket]

这也可以在从 DataPipeline 自动设置集群时使用。