java - 使用水壶进行缩放，并发问题

Question

我假装扩展我的应用程序，过程的某些部分包括由一些处理客户端同时运行 kettle 作业，在某些点转换需要对一些共享表(假设“clients_table”)执行组合查找，这个表增长很快由于所有可能的客户都是未知的，所以他们在出现时被插入。在此表上同时执行作业的组合查找(假设 2 个，但可能不止于此，每个客户端每个)，它会出现并发问题，因为我想在插入不存在的客户端时出现“重复输入键 xxx”错误(当组合查找时没有在表中找到它们来检索它的 id)。事实上，每次处理客户端执行 kettle 作业时都会转移新客户端，因此上述问题非常普遍。我想知道我是在打破水壶哲学还是遗漏了什么，我读过关于使水壶转换具有事务性的信息，这可能是我的解决方案，因为我认为正在发生的事情是组合查找步骤不是事务性的？给我一些想法。

PS: 我使用的是 Kettle 4.2 和 MySql 5.2

Answer 1

我最终为 kettle 做了我自己的事务组合查找插件(带缓存管理)，因为它使整个转换事务变得非常昂贵。