python - 从AWSglue pythonshell作业中的有效负载中检索s3路径

Question

我在 AWSglue 中有一个 pythonshell 作业，需要从 s3 路径下载文件。这个 s3 路径位置是一个变量，因此将作为 start_run_job 调用中的有效负载进入胶水作业，如下所示:

import boto3    
payload = {'s3_target_file':s3_TARGET_FILE_PATH,
            's3_test_file': s3_TEST_FILE_PATH}
    job_def = dict(
                JobName=MY_GLUE_PYTHONSHELL_JOB,
                Arguments=payload,
                WorkerType='Standard',
                NumberOfWorkers=2,
            )

response = glue.start_job_run(**job_def)

我的问题是，如何从通过 boto3 传递的 AWS Glue pythonshell 作业内的负载中检索这些 s3 路径？我们是否需要编写类似于 AWS Lambda 的处理程序？

请提出建议。

Answer 1

检查docimentation 。你需要的一切都在这里。

您可以按如下方式使用getResolvedOptions:

import sys
from awsglue.utils import getResolvedOptions

args = getResolvedOptions(sys.argv,
                          ['JOB_NAME',
                           'day_partition_key',
                           'hour_partition_key',
                           'day_partition_value',
                           'hour_partition_value'])
print "The day partition key is: ", args['day_partition_key']
print "and the day partition value is: ", args['day_partition_value']