apache-kafka - dcos-kafka-service 和 mesos-kafka 的区别

Question

我正在做一个 POC，将 Kafka 作为一个应用程序部署在 Mesos 集群上。我在 github 上看到了这两个代码库。一个由 apache-mesos ( github page ) 开发，另一个由 mesosphere 开发，只能在 DCOS ( github page ) 上运行。

问题:想知道DCOS-Kafka和mesos-Kafka在特性和扩展功能方面有什么不同。

关于Mesos-Kafka:在过去的几个月里，我没有看到 mesos-kafka 在 github(和一些 Unresolved 问题)上的积极参与。我可以假设该服务足够强大，可以在生产环境中使用吗？对此的任何输入都会有所帮助。

Answer 1

kakfa-mesos 是一个包含 Kafka 版本和自定义 mesos 调度程序的软件包，旨在解决在 Marathon 上将 Kafka 作为有状态服务运行的问题。我想post但是 confluent 很有用。它还包含一个用于执行操作任务的 RESTful api，旨在将来包含这些功能(这是从我链接的文章中提取的)

• 将 Kafka 命令(例如 kafka-topics 等)集成到调度程序中，以便可以通过 CLI 和 REST API 使用。
• 自动扩展集群(包括分区的自动重新分配)，以便代理正在使用的资源(CPU、RAM 等)可以在已知流量低谷的其他地方使用。
• 用于容错的机架感知分区分配。
• Hook ，以便生产者和消费者也可以从调度程序启动并通过集群进行管理。
• 根据负载和流量自动重新分配分区

我自己还没有在生产环境中使用过它，但它有 Confluent 的支持，这是一个好兆头。

另一方面，DC/OS Kafka 是一种 DC/OS 服务，它可能只有在您已经在运行或计划通过 Mesosphere 的 DC/OS 运行服务时才有用。它还包括一个 API 和一个 CLI 管理工具，但在附加功能方面没有那么雄心勃勃。它的当前功能集包括

• 用于快速配置的单命令安装
• 用于 DC/OS 的 Multi-Tenancy 的多个集群
• 高可用性运行时配置和软件更新
• 用于增强数据持久性的存储卷，称为 Mesos Dynamic * * Reservations 和 Persistent Volumes
• 与系统日志兼容的日志记录服务集成，用于诊断和故障排除
• 与用于容量和性能监控的 statsd 兼容指标服务集成