gpt4 book ai didi

aws-glue - "GlueArgumentError: argument --input_file_path is required"

转载 作者:行者123 更新时间:2023-12-04 22:28:05 26 4
gpt4 key购买 nike

我已经创建了一个 pyspark 脚本(胶水作业)并尝试使用 cli 命令 awsglue start-job-run --arguments(这里我正在传递参数列表)来运行 EC2 实例。我已经尝试使用简写语法和 json 语法来通过上述 cli 命令传递参数,但我收到错误 “GlueArgumentError:参数 --input_file_path 是必需的” (输入文件路径是我试图在 pyspark 脚本中访问的参数,如下所示)

spark = SparkSession.builder.getOrCreate()
args = getResolvedOptions(sys.argv, ['input_file_path', 'CONFIG_FILE_PATH', 'SELECTED_RECORD_FILE_PATH', 'REJECTED_RECORD_FILE_PATH']

我用来运行作业的 cli 命令如下:
1] aws glue start-job-run --job-name dsb_clng_and_vldtn --arguments input_file_path="s3://dsb-lfnsrn-001/lndg/data/CompanyData_UK.csv"
2] aws glue start-job-run --job-name dsb_clng_and_vldtn --arguments "file://$JSON_FILES_PATH/job_arguments_list.json"
(JSON_FILES_PATH is shell variable)

在方法 2] 中,我使用 json 语法来执行作业。 json文件内容如下:
{
"input_file_path":"s3://dsb-lfnsrn-001/lndg/data/CompanyData_UK.csv",
"CONFIG_FILE_PATH":"s3://htcdsb-dev/wrkspc/src/dsb-lfnsrn-001-config.json",
"SELECTED_RECORD_FILE_PATH":"s3://dsb-lfnsrn-001/pckpby/processed/Valid_UK.csv",
"REJECTED_RECORD_FILE_PATH":"s3://dsb-lfnsrn-001/pckpby/processed/Invalid_UK.csv"
}

请给我建议,因为我正在努力从几个小时内解决上述问题。

最佳答案

令人气愤的是,当从控制台运行 Glue 作业时,这个问题也很明显。

作业参数必须使用“--”前缀指定,并在不带前缀的脚本中引用。

enter image description here

args = getResolvedOptions(sys.argv, ['JOB_NAME', 'table_name'])

print(args['table_name'])

关于aws-glue - "GlueArgumentError: argument --input_file_path is required",我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/47529188/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com