java - 是否有适用于 Apache Beam 的 Https IO 连接器？

Question

我希望将我的 Beam 管道(Java 中)的输出通过 Https 写入另一台服务器，但我没有找到任何内置连接器。我知道可以创建自定义连接器，但我想首先知道是否已经存在任何东西。

Answer 1

正如 Anton 所说，Beam 目前没有内置对 HTTPS IO 的支持。我将提供一些有关 websocket 的文档以供引用。

但是，执行此类操作的标准方法是使用 ParDo 将每个元素写入端点的自定义转换。

可以帮助您入门的一些引用资料是:

• Websocket 实现: https://rmannibucau.metawerx.net/post/apache-beam-websocket-output
• 复合变换: https://beam.apache.org/documentation/programming-guide/#composite-transforms
• ParDo: https://beam.apache.org/documentation/programming-guide/#pardo

作为后续行动，凤凰网也将这个问题发布到了开发电子邮件组，这里是开发人员的后续行动的链接:https://lists.apache.org/thread.html/e082c02fc95354af5ccfc6d50aa9a08a2587c48c88d90e4f9272797b@%3Cdev.beam.apache.org%3E