gpt4 book ai didi

amazon-web-services - 是否可以在自定义格式文件上将作业书签与AWS Glue Job一起使用?

转载 作者:行者123 更新时间:2023-12-02 20:23:08 26 4
gpt4 key购买 nike

请查看这篇文章:https://docs.aws.amazon.com/glue/latest/dg/monitor-continuations.html
它说可以为JSON格式的文件启用作业书签。
我们的格式基于行,如下所示:

[{"a":"a"}, {"b":"b"}]
[{"c":"c"}, {"d":"d"}]
...

因此,每一行都是有效的JSON,但整个文件却不是。
是否可以将具有我们格式的Job Bookmark与AWS Glue Job一起使用?

最佳答案

1)问题的一部分,关于:S3中的文件,“对于Amazon S3输入源,AWS Glue作业书签检查对象的上次修改时间,以验证需要重新处理哪些对象。如果输入源数据已被处理自上次运行作业以来已进行了修改,那么当您再次运行该作业时,将重新处理文件。”

关于amazon-web-services - 是否可以在自定义格式文件上将作业书签与AWS Glue Job一起使用?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/59197348/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com