gpt4 book ai didi

python - Airflow DataProcPySparkOperator 不考虑全局区域以外的集群

转载 作者:太空宇宙 更新时间:2023-11-04 09:55:26 24 4
gpt4 key购买 nike

我正在使用 DataProcPySparkOperator 执行一些操作。此运算符仅将集群名称作为参数,没有指定区域的选项,默认情况下它会考虑具有全局区域的集群。对于region不是global的集群,会出现如下错误:

googleapiclient.errors.HttpError: https://dataproc.googleapis.com/v1/projects//regions/global/jobs:submit?alt=json returned "No current cluster for project id '' with name ''`

我是否遗漏了这些运算符的任何内容或它的局限性?

最佳答案

这些 DataProc{PySpark|Spark|Hive|Hadoop|..}Operators 今天根本不支持区域参数, Airflow issue已创建,我将在接下来的几天内提交修复。

关于python - Airflow DataProcPySparkOperator 不考虑全局区域以外的集群,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/46067848/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com