aws-glue - 如何在 Python Shell Glue 作业中使用 CloudWatch 自定义日志组？

Question

我有一些“Python Shell”类型的 Glue 作业，我想将作业日志发送到自定义 CloudWatch 日志组而不是默认日志组。
通过提供如下作业参数，我能够为“Spark”类型的胶水作业实现这一点:

"--enable-continuous-cloudwatch-log" = true
"--continuous-log-logGroup" = "/aws-glue/jobs/glue-job-1"

但相同的参数不适用于 Python Shell 作业(日志仍会转到默认日志组/aws-glue/python-jobs/output 和/aws-glue/python-jobs/error)。有没有办法为 Python Shell 作业实现这一目标？

Answer 1

continuous-log-logGroup是 AWS Glue Spark 作业附带的东西，它不适用于 Python Shell 作业。您可以做的最接近的事情是配置一个写入 CloudWatch 的日志处理程序。 Watchtower是一个流行的:

import watchtower, logging
logging.basicConfig(level=logging.INFO)
logger = logging.getLogger(__name__)
logger.addHandler(watchtower.CloudWatchLogHandler(log_group='watchtower', stream_name='bla'))
logger.info("Hi")
logger.info(dict(foo="bar", details={}))

您也可以直接使用 Cloudwatch Logs API:

logs = boto3.client('logs')

LOG_GROUP='TUTORIAL-DEV2'
LOG_STREAM='stream1'

logs.create_log_group(logGroupName=LOG_GROUP)
logs.create_log_stream(logGroupName=LOG_GROUP, logStreamName=LOG_STREAM)


timestamp = int(round(time.time() * 1000))

response = logs.put_log_events(
    logGroupName=LOG_GROUP,
    logStreamName=LOG_STREAM,
    logEvents=[
        {
            'timestamp': timestamp,
            'message': time.strftime('%Y-%m-%d %H:%M:%S')+'\tHello world, here is our first log message!'
        }
    ]
)

这个例子来自这个要点: https://gist.github.com/olegdulin/fd18906343d75142a487b9a9da9042e0