google-cloud-platform - 通过谷歌云部署管理器创建的谷歌数据流

Question

我正在尝试通过部署管理器创建一个带有模板 Pub/Sub 到 BigQuery 的数据流作业。问题是在运行 gcloud deployment-manager types list 命令后我没有看到任何数据流服务。

是否可以使用 yaml 文件来创建数据流作业？

Answer 1

我将根据@lukaszberwid 的回答，为您提供如何为 Cloud Deployment Manager 设置 Dataflow 的工作示例。

首先您需要一个options.yaml 文件来设置auth (此外，您可能需要在您的环境中设置您的服务帐户):

options:
  inputMappings:
  - fieldName: Authorization
    location: HEADER
    value: '$.concat("Bearer ", $.googleOauth2AccessToken())'

然后，注册数据流运行:

gcloud beta deployment-manager type-providers create dataflow \
    --descriptor-url='https://dataflow.googleapis.com/$discovery/rest?version=v1b3' \
    --api-options-file=options.yaml

接下来您可以找到一个示例 resources.yaml，它可以从入门开始启动 WordCount 模板 guide :

resources:
  - name: "datafow-job"
    type: "[PROJECT-ID]/dataflow:dataflow.projects.locations.templates.launch"
    properties:
      projectId: [PROJECT-ID]
      location: us-central1
      gcsPath: "gs://dataflow-templates-us-central1/latest/Word_Count"
      jobName: testing-job
      environment:
        bypassTempDirValidation: false
        tempLocation: "gs://[BUCKET-NAME]/dataflow/tmp"
        ipConfiguration: "WORKER_IP_UNSPECIFIED"
        additionalExperiments: []
      parameters:
        inputFile: "gs://dataflow-samples/shakespeare/kinglear.txt"
        output: "gs://[BUCKET-NAME]/dataflow/output/my_output"

运行它:

gcloud deployment-manager deployments create my-deployment \
    --config resources.yaml