google-cloud-dataproc - 如何在集群模式下运行dataproc集群？

Question

我们正在尝试以集群模式运行 Dataproc 集群，但未能成功。我们尝试了属性 --properties spark.submit.deployMode=cluster，但失败了。

有人可以提供有关如何设置的更多信息吗？

提前致谢。

Answer 1

问题似乎是您在创建集群期间设置 spark.submit.deployMode 属性时没有指定 spark: 前缀。

在 Dataproc 中，如果您在集群创建期间设置属性，您需要在它们前面加上您为其设置它们的组件，请参阅 Dataproc cluster properties documentation了解详情。

此命令应该可以创建集群，在该集群上将以集群模式提交 Spark 作业:

CLUSTER_NAME=<cluster_name>
gcloud dataproc clusters create ${CLUSTER_NAME} \
  --properties=spark:spark.submit.deployMode=cluster

请注意，在集群模式下，Dataproc 将无法在 gcloud 和 Cloud Console 中流式传输 Spark 驱动程序输出。