airflow - 如何使用 Apache Airflow 的 DataprocCreateClusterOperator 在 Dataproc(GCP) 上启用 Spark Web 界面

Question

我们正在使用 Apache Airflow 的 DataprocCreateClusterOperator 在 GCP (Dataproc) 上创建 Spark 集群，并希望启用 Spark Web UI 界面。使用终端创建时，我们在创建集群命令中传递 --enable-component-gateway。我们如何使用 DataprocCreateClusterOperator

实现此目的

我们尝试在下面添加endpoint_config(下面的示例代码)，但没有成功。

"software_config" : {
.....,

   "endpoint_config" : {
   "enable_http_port_access" : "true"
   }
}

Answer 1

根据 Dataproc REST API(Cluster、ClusterConfig、EndpointConfig)，它应该是

{
  "clusterName": ...,
  ...
  "config": {
    "endpointConfig": {
      "enableHttpPortAccess" : true
    },
    "softwareConfig": {
      ...
    },
    ...
  }
}