apache-kafka - 2 个 Debezium 连接器可以同时从同一来源读取数据吗？

Question

正如标题所说，我有 2 个独立的服务器，我希望两个连接器从相同的源读取以写入各自的主题。单个连接器效果很好。当我在另一台服务器上创建另一个时，它们似乎正在运行，但两者都没有数据流。我的问题是，是否可以运行 2 个从同一来源读取的 debezium 连接器？我在文档中找不到关于此主题的任何信息。

编辑:我用 oracle 数据库测试过它，但从未发现它运行良好。绝对不推荐使用它，尤其是在 oracle 中。

Answer 1

所以一般来说，Debezium 不建议您为每个数据库源使用多个连接器，而是更喜欢您调整连接器配置。我们知道，当您有不同的业务用例时，情况并非总是如此。

也就是说，重要的是，如果您确实部署了多个连接器，则正确配置每个连接器，使其不会共享状态，例如相同的数据库历史主题等。

对于某些数据库平台，拥有多个源连接器确实不会给数据库带来任何实际负担，例如 MySQL。但运行多个连接器的其他数据库(如 Oracle)可能会产生相当大的影响。

当 Oracle 连接器流更改时，它会启动 Oracle LogMIner 挖掘 session 。此 session 负责加载、读取、解析和准备在连接器用于生成更改事件的特殊内存表中读取的数据内容。当您运行多个连接器时，您将同时发生 Oracle LogMiner session ，并且每个 session 都将消耗其自己的 PGA 内存份额以支持 Oracle LogMiner 采取的步骤。根据数据库的波动性，这可能会给数据库服务器带来压力，因为 Oracle 专门将一个 LogMiner session 分配给一个 CPU。

对于 Oracle 环境，我强烈建议您避免使用多个连接器除非您需要在同一实例中流式传输来自不同 PDB 的更改，因为确实没有技术原因让您想要阅读、为相同的重做条目多次加载、解析和生成更改数据，每个连接器部署一次。