apache-kafka - Kafka GlobalKTable 延迟问题

Question

我有一个主题，在商店中被读取为 GlobalKTable 和 Materialized。问题是，如果我更新该主题的 key ，然后从存储中读取，一段时间(~0.5秒)我会得到旧值。

此问题的原因可能是什么？

是否globalktable将数据存储在每个应用程序实例的rocksDB中，因此如果更新另一个分区上的 key ，则需要一些时间从所有分区提取数据并更新其本地rocksDB。如果没有，请解释 globalktable store 内部如何维护其状态？

如何解决上述问题？在这种一致性期望与 mysql 数据库相匹配的场景中，我们是否不应该使用 globalktable ？

Answer 1

Is it that globalktable stores the data in rocksDB per application instance so if the key on another partition is updated it takes some time to pull data from all partitions and update its local rocksDB. If not, please explain how does globalktable store maintain its state internally?

绝对是的。在 Kafka Streams 再次 poll() 主题并更新本地 RocksDB 之前，总会有一些延迟。

Should we not use globalktable in such scenarios where consistency is expected to match that of say a mysql database?

这取决于您需要什么保证——如果生产者写入 GlobalKTable 主题并且写入成功，这并不能保证 Kafka Streams 应用程序已消耗此写入并更新 GlobalKTable。 Kafka 中的生产者和消费者在设计上是解耦的。