java - 我可以使用 java 将 cometd 主题中的流数据读取到 Apache Beam 中吗？

Question

我有一个制作人在 cometd 主题上吐出消息。我需要选择并处理来自该主题的消息流。我可能花了两个小时试图找到一种方法将 cometd 上的消息直接提取到 apache Beam 中。我似乎在这里碰壁了。我知道我有以下选择:

1. 从topic获取，将数据写入kafka，然后将kafka中的数据推送到beam。
2. 从主题获取，将数据写入 GCP 上的 pub/sub，然后将其推送到 Apache Beam。

上述两个选项似乎都在架构中包含了一个额外的组件。有更好的方法吗？有什么例子吗？代码示例？指针？

Answer 1

据我所知，目前还没有任何人为 Beam 编写或启动 CometD 连接器。当前连接器列于 https://beam.apache.org/documentation/io/built-in/ 。要编写自己的流连接器，您可以尝试模仿其他基本流连接器之一的代码，例如 AMQP、MQTT 或 JMS(Kafka 和 Pubsub 非常先进，我不建议通过其源代码来指导您的实现)。