multithreading - Kettle 6.0.1.0中转换引擎的 “Serial Single Threaded”类型是什么？

Question

我对Kettle工具非常陌生，并发现了可以在其中更改“转换引擎类型”的转换属性。有人可以帮助我了解“转换引擎类型”的含义，如果将其选择为“串行单线程”，转换的行为将如何改变？

Answer 1

默认情况下，PDI转换并行启动所有步骤。因此，如果您有一个包含4个步骤的转换，

Table input --> Dimension lookup --> Calculator --> Table output

每个步骤将在行到达时对其进行处理。表输入将几千行的第一个块发送到Dimension查找，并且查找立即开始。如果您有大量数据，则将有4个线程连续执行某些工作，并且数据行将从一个线程传递到下一个线程。

这是正常现象，也是发动机的强项之一。

但是，您可能处在一个非常大的转换中，需要几十个步骤，但是每个步骤所做的工作却很少。在这种情况下，并行执行的开销不会得到返回，并且最终导致许多线程不得不等待CPU时间。在这种情况下，最好选择单线程执行模型，在该模型中，所有步骤都在同一线程中运行，并且数据按顺序处理。

哪种更好取决于您的特定用例，并且没有替代品可以同时尝试这两种情况并比较它们的速度。