d3.js - Bluemix Kafka 流

Question

最新版本的 IBM Message Bus 是否支持 Kafka Streams(此处描述:http://www.confluent.io/blog/introducing-kafka-streams-stream-processing-made-simple/)。有关如何执行此操作的任何示例/示例？如果是，可以用 node.js 完成吗？

我想做的是

1. 将数据从源数据库 (Cloudant) 流式传输到 Kafka 流(Bluemix 中存在连接器服务 - BETA 服务)

2. 使用 Kafka Streams 聚合数据(摘要、计数等)

3. Web 仪表板应用程序 - 前端(Node.JS、D3.JS)使用流并实时更新仪表板。

谢谢

Answer 1

您绝对可以使用 node.js 发布和订阅 Kafka(又名 IBM MessageHub)，并且可以在各种仪表板中可视化 Kafka 数据。最近我一直在使用 Node-Red 以及 node-red-dashboard 和 node-red-contrib-web-worldmap，效果很好。

nodejs 应用程序的发布/订阅可以通过 Confluent REST 代理(IBM MessageHub 使用)或通过本地 node.js 客户端(如暴雪在 librdkafka 之上编写的客户端)完成(参见 https://github.com/blizzard/node-rdkafka)。 Confluent 编写了一些 nodejs 包装器函数，以便更轻松地使用 REST 代理(参见 https://github.com/confluentinc/kafka-rest-node)

就 Kafka Streams 而言，目前支持的主要语言是 Java 和 Scala。您可以毫无问题地将 Javascript 中的节点客户端与 Java 中的 Streams 应用程序混合使用。 Kafka Streams 仅作为一个 Java 库实现，因此您的流应用程序肯定会在 Bluemix 中的虚拟机或容器中运行，并且它们不需要任何额外的集群管理器或第三方基础架构。

更新:IBM 宣布 MessageHub 现在支持 Kafka Streams

https://developer.ibm.com/messaging/2017/06/28/messagehub-now-runs-kafka-0-10-2-1-supports-streams/