google-cloud-dataproc - 集群重启后 Google Cloud Dataproc 集群的外部 IP 发生变化

Question

谷歌云数据过程有一个选项可以停止(不删除)集群(主节点 + 工作节点)并启动，但是当我们这样做时，主节点和工作节点的外部 IP 地址正在改变，这会导致使用 Hue 和其他其上基于 IP 的 Web UI。

是否有任何选项可以在重新启动后保留相同的 IP？

Answer 1

尽管 Dataproc 目前不提供使用静态 IP 地址的直接选项，但您可以使用底层 Compute Engine 接口(interface)添加 static IP address to your master node ，可能会删除以前的“临时 IP 地址”。

也就是说，如果您通过外部 IP 地址访问您的 UI，那大概意味着您还必须管理您的防火墙规则以仔细限制入站 IP 范围。根据您使用的 UI，如果它们不使用 HTTPS/SSL，那么即使您有防火墙规则限制来自其他外部来源的访问，这仍然不理想。

访问 Dataproc 用户界面的推荐方式是 through SSH tunnels ;您甚至可以添加 gcloud compute ssh如果您不想每次都重新键入所有 SSH 标志，可以将浏览器启动命令发送到 shell 脚本以方便使用。这种方法还可以确保链接在 YARN ResourceManager 之类的页面中工作，因为这些页面将使用 GCE 内部主机名，而您的外部 IP 地址将无法使用这些主机名。