amazon-web-services - 为什么在调用转换和接收器操作时需要设置 `transformation_ctx` 参数以使 AWS Glue 书签工作？

Question

AWS Glue Bookmark 文档 ( https://docs.aws.amazon.com/glue/latest/dg/monitor-continuations.html ) 似乎表明必须通过 transformation_ctx参数到源，转换和接收器操作以使书签工作。这反射(reflect)在该页面的示例代码中，其中调用了所有 create_dynamic_frame.from_catalog() , ApplyMapping.apply()和 write_dynamic_frame.from_options()以 transformation_ctx 传递值。
我可以理解通过这样的点 transformation_ctx至 create_dynamic_frame.from_catalog()方法，因为 AWS Glue 需要在给定的 transformation_ctx 下的书签中存储有关已读取文件的信息。 key 。
但是，我不明白为什么这对于像 ApplyMapping.apply() 这样的方法也是必要的。和 write_dynamic_frame.from_options() .换句话说，这些操作需要存储在书签中的状态信息是什么？如果我不通过transformation_ctx对这些方法，会造成什么问题？

Answer 1

几个月前(2019 年 10 月)，我对书签也有同样的疑问，由于亚马逊提供的文档不是很清楚，我打开了一个支持案例以了解更多它是如何实现的。
在我的胶水工作中有:

来自 S3 的读取函数 (glue_context.create_dynamic_frame.from_options)

A ResolveChoice.apply

Redshift 的写函数(glue_context.write_dynamic_frame.from_jdbc_conf)

所有这些操作都有transformation_ctx 值，我测试了不同的可能行为(所有的transformation_ctx 相同，不同的固定值，动态值ecc)。
在收到 AWS 支持的许多消息后，他们确认书签仅适用于 read 函数(他们还说只使用 S3 作为源，但我没有测试它)，所以我问在 ResolveChoice 中transformation_ctx 是否没用(和也写函数)，他们说是的!他们确认这没有任何区别。
此外，对于 write 函数，它不会更改任何内容，因此没有书签逻辑，如果之前已经运行过，则没有“避免函数”。