aws-cloudformation - 用于编排多个 AWS Glue 作业的 AWS CloudFormation 模板(顺序执行和并行执行的组合)

Question

我正在寻找有关用于以下场景的 Glue 作业编排的 CloudFormation 模板的帮助:

假设我有 6 个 AWS Glue 作业，3 个作业(Job1、Job2、Job3)应并行执行，其余 3 个作业应顺序执行(Job3 在 Job4 之前执行，Job4 在 Job5 之前执行，然后 Job5 在 Job6 之前执行)。如果任何作业失败，请发送工作流程“失败”通知以及失败的 Glue 作业名称。

---

Job1 
Job2 
job3 --->job4--->job5-->job6

---

Answer 1

您可以使用 AWS::StepFunctions::StateMachine 资源定义 StepFunctions，并为以下事件另外定义 AWS::Events::Rule:

            EventPattern:
                source:
                    - "aws.states"
                detail-type:
                    - "Step Functions Execution Status Change"
                detail:
                    status:
                        - "FAILED"
                        - "TIMED_OUT"

这是步骤函数中的单个作业执行阶段的示例:

                    Run Job 3:
                        Type: "Task"
                        Resource: "arn:aws:states:::glue:startJobRun.sync"
                        Parameters:
                            JobName: "GlueJob1Name"
                        Next: "Run Job 4"

您必须将三个并行作业包含在并行任务类型中。