pentaho - 如何检查数据在pentaho pdi的目标表中是否存在

Question

M第一次使用pentaho勺子，我有一个输入表，并且编写了一个sql查询，并希望将输入表的结果数据存储在不同的目标表中，但是在将数据存储到目标表之前，请检查数据是否已准备就绪存在于表中。

Answer 1

尽管Cyrus答案完全适合您的用例，但是您也可以使用Merge Row (diff)步骤。

它将传入的流与现有表进行比较，并判断记录是“新建”，“已修改”，“相同”还是“已删除”。然后，您可以使用Switch/Case步骤采取适当的措施。

这种增量加载模式比Insert/Update效率更高，不仅因为它为您提供了更大的灵活性，而且还因为它不是高效的操作(您需要进行4种数据库访问:查看表，获取结果，并根据需要进行更改，以及推送结果)。

请注意，在PDI并行运行所有操作的情况下，您可能会无意中打开同一张表进行读取和写入，最终导致死锁。通常的技巧是对PDI中的引用表进行排序，因此它必须读取所有记录以确保它具有最后一个记录。如果流在Input table中进行了预排序，则排序几乎不会花费时间(和内存)。