apache-kafka - 如何记录 Kafka Streams？

Question

如何绘制我的 topci/stream 关​​系图？有标准吗？

我可以使用流的拓扑并使用像这样的查看器:https://zz85.github.io/kafka-streams-viz/ 。但我觉得这个水平太低了。

我想要一个更抽象的图表来表示主题以及它们之间的“业务”操作。不需要具备适当的 Kafka 知识就能理解的东西。

Answer 1

Kafka 流可视化工具只需根据拓扑描述创建图像即可工作 (Topology#describe())。

I want a more abstract diagram representing the topic and the"business" operations between them. Something that do not require aproper knowledge of Kafka to understand.

我希望您希望在图表中避免 KSTREAM-SOURCE、KSTREAM-TRANSFORM 等。

Topology
Sub-topologies:
Sub-topology: 0
    Source:  KSTREAM-SOURCE-0000000000 (topics: [conversation-meta])
    --> KSTREAM-TRANSFORM-0000000001
    Processor: KSTREAM-TRANSFORM-0000000001 (stores: [conversation-meta-state])
    --> KSTREAM-KEY-SELECT-0000000002
    <-- KSTREAM-SOURCE-0000000000
    Processor: KSTREAM-KEY-SELECT-0000000002 (stores: [])
    --> KSTREAM-FILTER-0000000005
    <-- KSTREAM-TRANSFORM-0000000001
    ...
    omitted for the sake of brevity

您只需用适当的名称全部替换 KSTREAM-xxx 即可。例如，

Topology
Sub-topologies:
Sub-topology: 0
    Source:  Conversations (topics: [conversation-meta])
    --> TransformConversation
    Processor: TransformConversation (stores: [conversation-meta-state])
    --> KSTREAM-KEY-SELECT-0000000002
    <-- KSTREAM-SOURCE-0000000000
    Processor: KSTREAM-KEY-SELECT-0000000002 (stores: [])
    --> KSTREAM-FILTER-0000000005
    <-- TransformConversation

此处 KSTREAM-TRANSFORM-0000000001 已更改为 TransformConversation，KSTREAM-SOURCE-0000000000 已更改为 Conversations

---

如果您在 Kafka 流应用程序中使用处理器 API 并构建拓扑并执行 describe()，拓扑将带有适当的处理器名称，因为在处理器 API 中，您能够为处理器命名。