hadoop - 如何在 Dataproc 集群启动时自动安装 Python 库？

Question

如何在 Dataproc 集群启动时自动在我的 Dataproc 集群上安装 Python 库？这将使我省去手动登录到主节点和/或工作节点以手动安装我需要的库的麻烦。

如果知道此自动安装是否可以仅在主服务器上而不是 worker 上安装东西，那就太好了。

Answer 1

初始化操作是执行此操作的最佳方式。初始化操作是在创建集群时运行的 shell 脚本。这将使您可以自定义集群，例如安装 Python 库。这些脚本必须存储在 Google Cloud Storage 中，并且可以在通过 Google Cloud SDK 或 Google Developers Console 创建集群时使用。

这是安装 Python pandas 的示例初始化操作在主节点上仅创建集群。

#!/bin/sh
ROLE=$(/usr/share/google/get_metadata_value attributes/role)
if [[ "${ROLE}" == 'Master' ]]; then 
  apt-get install python-pandas -y
fi

正如您从该脚本中看到的那样，可以使用 /usr/share/google/get_metadata_value attributes/role 来辨别节点的角色，然后专门针对主节点(或worker)节点。

你可以看到 Google Cloud Dataproc Documentation了解更多详情