google-cloud-platform - GCP 数据处理 : create cluster with stackdriver activated

Question

我使用 GCP 为我的处理实例化工作流。我想激活 Stackdriver 日志记录以获得更多指标(请参阅 https://cloud.google.com/dataproc/docs/guides/stackdriver-logging )。

根据文档，我应该设置属性:

dataproc:dataproc.logging.stackdriver.job.driver.enable=true

我的工作流模板如下所示:

placement:
  managedCluster:
    clusterName: my-cluster
    config:
      gceClusterConfig:
        zoneUri: europe-west1-d
      masterConfig:
        machineTypeUri: n1-standard-4
      workerConfig:
        machineTypeUri: n1-standard-4
        numInstances: 10

我应该在哪里设置这个属性？

谢谢。

Answer 1

以下应该有效。

由于 API 层次结构嵌套很深，您可以使用 gcloud dataproc workflow-templates 接口(interface)构建初始模板，describe 命令将为您提供正确的 YAML 或 JSON。然后，您可以使用本地文件中的 instantiate-inline 进行快速迭代。

placement:
  managedCluster:
    clusterName: my-cluster
    config:
      gceClusterConfig:
        zoneUri: europe-west1-d
      masterConfig:
        machineTypeUri: n1-standard-4
      workerConfig:
        machineTypeUri: n1-standard-4
        numInstances: 10
      softwareConfig:
        properties:
          dataproc:dataproc.logging.stackdriver.job.driver.enable: true