gpt4 book ai didi

google-cloud-dataproc - 尝试通过 Cloud Scheduler 实例化 Dataproc 工作流会导致 INVALID_ARGUMENT

转载 作者:行者123 更新时间:2023-12-05 04:32:16 38 4
gpt4 key购买 nike

我有一个现有的功能性 Dataproc 工作流模板,我正在尝试创建一个 Cloud Scheduler 作业以按计划运行它。通过 Dataproc 工作流模板控制台页面上的“运行”按钮运行时,工作流模板运行无误。

我创建了一个调度程序作业来使用以下命令运行此工作流模板(此处删除了名称):

gcloud scheduler jobs create http <job-name> 
--location=us-central1
--schedule="0 1 * * *"
--http-method=POST
--uri=https://dataproc.googleapis.com/v1/projects/<project-name>/regions/us-central1/workflowTemplates/<template-name>:instantiate?alt=json
--oauth-service-account-email=<service-account-name>@<project-name>.iam.gserviceaccount.com
--oauth-token-scope=https://www.googleapis.com/auth/cloud-platform

作业已成功创建,但在尝试运行时返回 INVALID_ARGUMENT .这是响应:

{"@type":"type.googleapis.com/google.cloud.scheduler.logging.AttemptFinished", "jobName":"projects/<project-name>/locations/us-central1/jobs/<job-name>",
"status":"INVALID_ARGUMENT", "targetType":"HTTP", "url":"https://dataproc.googleapis.com/v1/projects/<project-name>/regions/us-central1/workflowTemplates/<workflow-name>:instantiate?alt=json"}

我没有得到比这更多的描述性回应。工作流没有开始的迹象,Dataproc 工作流控制台页面上也没有列出任何失败。

我还尝试了具有相同服务帐户、范围、位置和计划的类似调度程序作业,但我将 URL 缩减为基本工作流位置:https://dataproc.googleapis.com/v1/projects/<project-name>/regions/us-central1/workflowTemplates/<template-name>并尝试了 --http-method=GET ,那是成功的,但当然不会实例化工作流。

我是否遗漏了什么,或者至少有更好的方法来诊断问题?

最佳答案

一旦将服务帐户用户角色添加到用于创建调度程序作业的服务帐户,我现在就能够通过调度程序成功启动此工作流程。也就是说,服务帐号本身也需要是服务帐号用户。

关于google-cloud-dataproc - 尝试通过 Cloud Scheduler 实例化 Dataproc 工作流会导致 INVALID_ARGUMENT,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/71695528/

38 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com