apache-kafka - 收集用户在Kafka的事件？

Question

我希望提供一种快速获取用户状态的能力。

它必须以最快的速度从存储中读取数据。

因此，我选择Redis存储来存储每个用户的可用状态。

因此，除了我需要存储有关可用用户的更多扩展信息外，例如区域，登录时间等。

为此，我得到了一个卡夫卡，将数据存储在其中。

问题是，如何同步Kafka和Redis？

应该按以下顺序进行:首先将事件在线用户存储在Kafka中，然后将其下沉到Redis？

其次是存储在Redis中和异步存储在Kafka中。

我担心Kafka和Redis之间的接收器操作会延迟。

Answer 1

从问题中我了解到，您只想在Redis中存储用户和用户状态，并在Kafka上存储完整的个人资料。

我不确定选择Kafka作为所有数据的主要来源的原因。另外，您打算如何使用那里存储的数据。

如果Kafka中的数据存储对您确实很重要，那么我建议您先更新您的主数据库(Kafka或任何其他数据库)，然后再更新缓存。

在这种情况下，您需要对Kafka生产者执行同步操作，并在其成功完成后更新ur缓存。

由于您读取的操作仅来自redis-性能不会受到影响。

但是，与异步相比，如果选择同步生产者，则可能由于确认而增加一点开销。