apache-kafka - 如何为实时股票价格设计发布/订阅架构

Question

我有一个发布实时财务数据(例如来自世界各地交易所的股票报价和价格)的外部系统。

这个外部系统对每个账户连接的股票数量有一些限制，因为我们有很多应用程序需要使用这些实时流数据，所以我们不希望每个应用程序都连接到该外部系统并通过以下方式管理容量自己，因此我们想设计一个单一的系统，对所有股票进行消费，然后发布到某个消息队列(例如 kafka 或 pulsar)，然后下游应用程序可以从 kafka 主题中消费。

问题是我们如何设计主题，股票数量大约是 1000 万，但每个应用程序只对其中的子集感兴趣，子集大小可大可小，不同的子集可以共享相同的股票。

我能想到的是动态创建一些流式作业(例如，kafka 流式处理或单独的 flink 作业进行预聚合，从所有主题中为每个消费者收集感兴趣的股票，然后为每个消费者发布到另一个主题) ，这样每个消费者都会有自己的topic，只有自己感兴趣的股票，但肯定会带来消息传输时间、重复消息、延迟等开销，而且如果越来越多，容量也可能是个问题消费者。

不知道有没有更好的方法可以达到我的要求，请指教，谢谢。

Answer 1

如果我正确理解您的要求，您将获得一些实时的股票价格提要，其中包括该交易所所有证券的报价，即 APPL、IBM 和 MSFT 报价包含在该单一提要中。此外，您不希望消费者直接附加到此提要，因此您需要将该信息存储在中间消息系统中

在这种情况下，您可能需要考虑使用 Pulsar 的 key_shared subscription按股票代码对数据进行预排序。然后，这些消费者中的每一个都可以将他们的结果发布到股票代码特定主题。然后，客户将只需要订阅他们感兴趣的那些主题并使用该数据的一个子集。

所有股票代码 ---->(500 个特定于符号的主题)。 <---- 客户订阅其中的子集。