apache-kafka - Kafka - 流与主题

Question

Kafka 主题和流有什么区别？我以为两者都是一样的。
该文档说 create stream from a topic这引起了困惑。

https://docs.ksqldb.io/en/latest/developer-guide/create-a-stream/

问题:

Kafka 主题和流有什么区别？

当主题给我们事件流时，我们需要从主题创建流是什么？

我们可以直接从主题创建表吗？或者我们应该先创建流来创建表？

Answer 1

主题是分区的集合，其中每个分区将包含一些消息。分区实际上是磁盘上的一个目录。

1. What is the difference between Kafka topic and stream?

A. 流是数据流，无论是来自单个主题还是主题集合。
还有一个方法是 stream(Collection<String> topics)这意味着流不仅限于单个主题。

2. When topic gives us the stream of events, what is the need for us to create stream from a topic?

A. Stream 是 Kafka Streams 中的基本实体。流经过一组处理器。术语流在 Kafka 流的上下文中使用。 Kafka 流在内部创建一个消费主题的消费者。

同样，如前所述，流也可以是主题的集合。所以，有时如果你想消费不同的主题并处理它们，那么你需要为这些主题创建一个流。

3. Can we create table from topic directly? Or should we create stream first to create table?

A. 是的，可以使用 Kafka 客户端 API 和 Kafka 流 API 直接从主题创建表。

如果您在应用程序中使用 Kafka 流，那么您可以使用 StreamsBuilder#table()或 StreamsBuilder#globalTable()方法。

如果您使用的是 Kafka 客户端 API，那么您必须手动使用主题并在 map 或其他一些数据结构中填充消息。

当存在 topologies 时使用 Kafka 流.对于简单的应用程序，我们只需要消费、处理和提交而没有多个进程阶段，那么 Kafka 客户端 API 应该足够好。任何可以通过 Kafka 流实现的功能也可以通过 Kafka 客户端实现。

Kafka 流基本上使复杂工作流的事情变得相对简单，但它也可以用于简单的工作流。