apache-kafka - 备份/恢复 kafka 和 zookeeper

Question

我正在运行一个简单的 3 节点 kafka和 zookeeper 的第 5 个节点运行 kafka , 我想知道备份我的kafka的好方法是什么，我的 zookeeper 也是如此.

目前我只是将我的数据目录导出到 s3 存储桶...

谢谢。

Answer 1

Zalando最近发表了一篇不错的文章how to backup Kafka and Zookeeper . Kafka备份一般有2条路径:

维护第二个 Kafka 集群，所有主题都复制到该集群。我还没有验证这个设置，但如果偏移主题也被复制，那么切换到另一个集群应该不会损害消费者的处理状态。

将主题转储到云存储，例如使用 S3 连接器(如 Zalando 所述)。在恢复的情况下，您可以重新创建主题并使用云存储中的数据为其提供数据。这将允许您进行时间点恢复，但消费者必须从头开始阅读主题。

首选的备份解决方案取决于您的用例。例如。对于流式应用程序，第一个解决方案可能会给您带来更少的痛苦，而当使用 Kafka 进行事件溯源时，第二个解决方案可能更可取。

关于 Zookeeper，Kafka 保留有关主题(持久存储)以及代理发现和领导者选举(临时)的信息。 Zalando 决定使用 Burry ，它只是遍历 Zookeeper 树结构，将其转储到文件结构，稍后将其压缩并推送到云存储。它患有 a little problem ，但很可能它不会影响 Kafka 持久数据的备份(TODO 验证)。 Zalando 在那里描述，在恢复时，最好先创建 Zookeeper 集群，然后将一个新的 Kafka 集群连接到它(使用新的唯一代理 ID)，然后恢复 Burry 的备份。 Burry 不会覆盖现有节点，不会放置有关旧代理的临时信息，也不会存储在备份中的内容。

注意:虽然他们提到了 Exhibitor 的用法，但在用 Burry 备份时并不是真的需要它来备份。