gpt4 book ai didi

amazon-web-services - AWS 胶水 : get job_id from within the script using pyspark

转载 作者:行者123 更新时间:2023-12-04 00:16:18 25 4
gpt4 key购买 nike

我正在尝试从该作业的脚本访问 AWS ETL Glue 作业 ID。这是您可以在 AWS Glue 控制台的第一列中看到的 RunID,类似于 jr_5fc6d4ecf0248150067f2 .如何使用 pyspark 以编程方式获取它?

最佳答案

我没有在任何地方找到这个文档,但它作为命令行参数传入。

import sys
from awsglue.utils import getResolvedOptions

args = getResolvedOptions(sys.argv, ['JOB_NAME'])
job_run_id = args['JOB_RUN_ID']

关于amazon-web-services - AWS 胶水 : get job_id from within the script using pyspark,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/49300979/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com