aws-glue - AWS Glue - 启动 ETL 作业并挂起执行

Question

有时，当我想在 AWS Glue 中运行 ETL 作业时，它会立即触发。但是我经常遇到在 ETL 作业执行任何操作之前需要几分钟的时间 - 我在日志中看不到任何内容，只有“待执行”。有什么办法可以影响它的配置吗？还是完全取决于 AWS 何时开始工作？

Answer 1

我知道这是一个旧线程，但我最近遇到了同样的症状。您必须确认原因是否相同。我最初创建的工作是将数据从我的数据湖移动到红移数据库。创建作业时，它具有作为必需资源的 redshift 连接，但似乎胶水在开始作业之前无法获取该资源，因此作业在每次开始之前都会失败......没有日志。

我通过从控制台编辑作业删除了作为作业要求的连接。 (操作-> 编辑作业-> 所需连接->“X”)

在我删除要求后，工作运行得很好。我花了很长时间才弄明白。希望它可以帮助其他人遇到相同的情况。