azure - 为 Azure Kafka 配置灾难恢复和自动故障转移？

Question

我们的 kafka 在美国东部配置的 Azure HDInsight 上运行，而我们的热备区域是美国西部。

如何配置 Azure HDInsight 以支持具有自动故障转移的灾难恢复？它会影响连接字符串吗？

Answer 1

Azure HDInsight 采用独特的体系结构开发，可确保关键服务的高可用性 (HA)。该架构的一些组件是由 Microsoft 开发的，用于提供自动故障转移。其他组件是标准 Apache 组件，部署它们以支持特定服务。

这个article解释 HDInsight 中的 HA 服务模型的体系结构、HDInsight 如何支持 HA 服务的故障转移以及从其他服务中断中恢复的最佳实践。

For Azure HDInsight Kafka clusters, you can use Kafka's mirroring feature to replicate Apache Kafka topics with Kafka on Azure HDInsight.

What is Kafka mirroring?

Kafka 的镜像功能使得维护现有 Kafka 集群的副本成为可能。

How Apache Kafka mirroring works?

镜像的工作原理是使用 MirrorMaker 工具(Apache Kafka 的一部分)来使用主集群上主题的记录，然后在辅助集群上创建本地副本。 MirrorMaker 使用一个(或多个)从主集群读取数据的消费者，以及一个写入本地(辅助)集群的生产者。

用于灾难恢复的最有用的镜像设置利用不同 Azure 区域中的 Kafka 集群。为了实现这一点，集群所在的虚拟网络对等互连。

下图说明了镜像过程以及集群之间的通信如何流动:

更多详情，请参阅Use MirrorMaker to replicate Apache Kafka topics with Kafka on HDInsight和 Big data streaming: Choices for high availability and disaster recovery on Microsoft Azure