google-cloud-dataproc - 如何在 Dataproc 上安装 Jupyter/iPython？

Question

我想使用 Jupyter/iPython在 Cloud Dataproc .如何在创建新集群时自动安装和配置它？

Answer 1

Cloud Dataproc 团队有一个 GitHub repository of initialization actions包含示例和常用的初始化操作。 iPython 有专门的一个在存储库中，您可以使用它来自动安装和配置 iPython。 initialization action page有更多关于如何在创建新集群时使用脚本的详细信息。

tl;dr 过程:

1. Download iPython 的初始化操作
2. 将初始化操作保存到 Google Cloud Storage 存储桶中

3. Create a new cluster与 Google Cloud SDK使用 --initalization-actions标志:

   gcloud beta dataproc clusters create <my-dataproc-cluster> --initialization-actions gs://<my-bucket>/ipython.sh

4. Create an SSL tunnel and SOCKS proxy到集群

5. 打开网络浏览器到主节点http://<my-dataproc-cluster>-m:8123

在上面的示例中，您需要替换 <my-bucket>使用您的 Cloud Storage 存储桶的名称和 <my-dataproc-cluster>使用您的集群的名称。另请注意，对于第 5 步，URL 应添加一个 -m。到您的集群的名称，以便您访问您的主节点。