apache-pulsar - 用 pulsar 创建很多主题是一个好场景吗？

Question

使用 pulsar 为每个散列动态创建一个主题(或分区)，并在不再使用时删除主题(或分区)，这是可能的和好的场景吗？

这个想法是能够以有序的方式读取具有相同散列的数据，而无需在具有相同散列的两条消息之间使用另一个散列的消息。允许客户在内存中仅保留有限数量的聚合消息。

在开始消费另一个主题(或分区)之前，消费者还应该能够完全消费一个主题(或分区)。

因此，目标是能够以不同的顺序消费和生产数据。

produce  in this order          and read like this
1 2 3 4 5 
_ _ _ _ _
a b c d e                       1 [a b c d e] 
a b c d e                       2 [a b c d e]
a b c d e     -------->         3 [a b c d e]
z y x w v                       4 [z y x w v]
g h i j k                       5 [g h i j k]
_ _ _ _ _

在这个例子中，消息 key 散列当然没有显示(每个行具有相同的 key 散列)

Answer 1

Is that possible and good scenario with pulsar to create a topic ( or a partition ) for each hash on the fly, and delete the topics (or partition ) when it is no more used?

当然，与其他消息传递系统相比，在 Pulsar 中创建许多主题的成本要低得多。可以显式删除主题，也可以在所有生产者和消费者断开连接并且主题上的所有订阅也被删除时自动删除它们。

The consumer should also be able to consume totally one topic (or partition) before starting to consume another one.

如果每个键使用 1 个主题，那么在消费者方面，您可以灵活地决定如何使用消息。

您唯一需要确保的是在所有主题上创建订阅，然后再发布消息，以便 Pulsar 保留数据。