python - Kafka python API 是否支持流处理？

Question

我在 Java 中使用过 Kafka Streams。我在 python 中找不到类似的 API。Apache Kafka 是否支持 python 中的流处理？

Answer 1

Kafka Streams 仅作为 JVM 库提供，但至少有两个 Python 实现

• robinhood/faust (截至 2020 年未维护，但 was forked )
• wintincode/winton-kafka-streams (似乎不再维护)
• 流感 (see discussion)

从理论上讲，您可以尝试使用 Jython 或 Py4j 来使用 JVM 实现，但可能需要做更多的工作。

除了这些选项之外，您还可以尝试 Apache Beam , Flink或 Spark ，但它们都需要一个外部集群调度程序来横向扩展(并且还需要安装 Java)。

如果您对 HTTP 方法没有问题，那么运行 KSQLDB 实例(同样，该服务器需要 Java)并使用内置 SQL 函数从 Python 调用其 REST 接口(interface)就可以了。然而，在那里构建您自己的函数将需要编写 Java 代码，这是我最后检查过的。

如果这些选项都不合适，那么您只能使用基本的消费者/生产者方法。