python - 如何在 Amazon EMR 上引导安装 Python 模块？

Question

我想做一些非常基本的事情，只需通过 EMR 控制台启动 Spark 集群并运行依赖于 Python 包的 Spark 脚本(例如，Arrow)。最直接的方法是什么？

Answer 1

最直接的方法是创建一个包含安装命令的 bash 脚本，将其复制到 S3，然后从控制台设置引导操作以指向您的脚本。

这是我在生产中使用的示例:

s3://mybucket/bootstrap/install_python_modules.sh

#!/bin/bash -xe

# Non-standard and non-Amazon Machine Image Python modules:
sudo pip install -U \
  awscli            \
  boto              \
  ciso8601          \
  ujson             \
  workalendar

sudo yum install -y python-psycopg2