azure - 如何将Azure事件中心(kafka接口(interface))的事件集成到google cloud pub/sub

Question

我有一个要求，需要在 Azure 事件中心使用 kafka 主题。需要创建 POST 端点，它将使用作为参数提供的主题。消息必须在 pubsub 主题上发送，其中 kafka 主题作为属性，消息内容作为正文。

这是一个很高的要求。我看过here了解如何实现这一目标。但是，如果有人实时实现了这一点，即从 Azure 事件中心到 google cloud pub sub 的事件，或者从事过类似的实现，请提供帮助。

Answer 1

正如评论部分中所讨论的，为了进一步为社区做出贡献，我将我们的讨论摘要发布为答案。

由于您的数据的目的地是 BigQuery，因此您可以使用 Kafka to BigQuery template在 Dataflow 中，您可以使用此模板将 json 消息从 Kafka 加载到 BigQuery。此外，根据文档，

How to use this Dataflow templateKafka to BigQueryThis template creates a streaming pipeline that ingests JSON data from Kafka, executes an optional JavaScript user defined function (UDF), and writes the resulting records to BigQuery. Any errors during the transformation of the data, execution of the UDF, or writing into BigQuery will be written into a separate errors table in BigQuery. The errors table will be created if it does not exist.

Pipeline Requirements

• The Kafka topic(s) exists and the message is encoded as a valid JSON.

• The BigQuery output table exists.

• The Kafka brokers are reachable from the Dataflow worker machines.

另一方面，您可以使用 KafkaIO 根据您的具体要求创建自己的模板。方法，可以查看this tutorial更好地了解如何开始。