azure - 如何将数据从一个 Azure EventHub 复制到另一个 Azure EventHub？

Question

没有现成的解决方案可以将数据从一个 Azure EventHub 克隆到另一个 EventHub。有哪些可能的选择来实现这一目标？

Answer 1

复制 Azure EventHub 流的一个简单选项是在 PySpark 中编写克隆作业。您只需从源 Eventhub 中读取流，选择正文，如果与您的场景相关，还可以选择源流数据帧中的属性，然后将此流写入您的目标-事件中心:

df = spark \
  .readStream \
  .format("eventhubs") \
  .options(**ehSource) \
  .load() \
  .select ("properties", "body") \
  .writeStream \
  .format("eventhubs") \
  .options(**ehTarget) \
  .option("checkpointLocation", checkploc) \
  .start()