parallel-processing - 在talend中运行并行作业

Question

我有一种情况，我需要在 talend 中并行运行五个不同的子作业。问题是，在我的选择查询中，我会得到五个不同的 ID，然后对于每个特定的 id，我需要运行五个不同的作业。 tparrallelize 组件的问题在于，它不允许我将上下文变量传递给每个子作业，即在这种特殊情况下的 id。

从表限制 5 中选择 id； ----> 具有不同 id 作为参数的相同作业的五个不同实例

任何帮助将不胜感激

谢谢

Answer 1

我不确定我是否正确理解您在这里所做的事情，但是如果您要拆分每个 ID 并将它们存储为 5 个单独的上下文变量，那么每个作业都可以访问自己的上下文变量，并为每个作业存储正确的 ID其中并使用它。

因此，我将从您的数据库输入组件开始(只需选择您想要的 ID)并将其输入到 tFlowToIterate 中。 .通过迭代流将其连接到 tFixedFlowInput组件并在您的架构中创建 2 个字段，“键”和“值”。使用内联表指定“key”应该是 ((Integer)globalMap.get("tFlowToIterate_1_CURRENT_ITERATION"))和“值(value)”应该是 ((String)globalMap.get("row1.SupplierPartNumber")) .



然后我会把它扔进 tMap我放置的组件 "ContextNumber" + row2.key进入映射的键列只是为了使它比作为上下文的迭代数更明显，然后将其直接输入 tContextLoad .



从那里你可以 OnSubjobOK 到你的 tParallelize组件并将您的所有工作链接在一起。在每个作业中配置作业以使用适当的上下文变量。