apache-kafka - IoT - 多个 Kafka 生产者向同一主题发布消息

Question

我正在尝试开发一个基于物联网的应用程序，其中多个设备将生成数据并将其发送到 Kafka 代理。这些设备的可能数量约为 60-70,000。

可能有 5-10 种不同的设备类型，但是，每种类型的设备数量将以千为单位，例如每种 20-40 千。

我想了解它应该支持这么多设备(平均 20-4 万台设备)的 Kafka 主题用法。

另外，请告诉我此类应用程序是否需要基于 MQTT 的实现。

提前致谢

阿维纳什·德什穆克

Answer 1

分区数主要影响消费者端，因为它是读取消息的并行单位。在生产者方面，考虑到由于每个领导分区都由代理托管，生产者必须连接到不同的代理以写入不同的分区，因此需要多个 TCP 连接。

关于 MQTT，这意味着您必须运行 MQTT 代理，然后使用相关的 MQTT 连接器运行 Kafka Connect。这取决于您拥有的设备类型。 MQTT 协议(protocol)作为轻量级协议(protocol)最适合嵌入式/IoT 设备，因此对于低功耗设备，它可能比在设备堆栈上使用 Kafka 协议(protocol)更有意义。但这也可能取决于您是否在边缘使用 IoT 网关从现场的多个设备收集消息，然后发送到 Kafka。