sql - 使用 ETL 工具按列值将数据拆分为无限数量的表

Question

我正在尝试使用 Talend Open Studio 根据给定列的值将表拆分为多个表。假设此列可以包含 1、2、3 等任何整数值，然后根据此值，这些行应转到 table_1、table_2、table_3 等。

如果我能在该列中不同值的数量事先未知的情况下解决这个问题，那将是最好的，但现在我们可以假设所有这些输出表都已经存在。底线是不同值的数量以及因此不同表的数量足够多，手动设置单个过滤器不是一种选择。

是否可以使用 Talend Open Studio 或任何类似的开源 ETL 工具(如 Pentaho Keetle)来解决此问题？

当然，我可以自己写一个简单的脚本，但我更喜欢使用合适的 ETL 工具，因为完整的 ETL 过程非常复杂。

Answer 1

在 PDI 或 Pentaho Kettle 中，您可以通过分区来做到这一点。 (步骤 IIRC 上的右键单击选项) PDI 中的分区正是为此类问题而设计的。