kubernetes - 为什么 Flink 使用 Yarn？

Question

我正在深入了解 Flink 内部，看看如何在项目中使用它，并向创建者/高级思想家提出一个问题……为什么 Flink 使用 Yarn 作为默认资源管理器？

是否考虑过 Kubernetes？或者它是我们从 Yarn 开始的那些东西之一，它工作得很好......

我遇到过许多允许 Kubernetes 和 Yarn 一起工作的项目和文章，包括允许使用 Mesos 部署 yarn 的 Myraid 项目(但我在 Kubernetes 上......)

我有一个非常大的计算集群，我使用了大约 2000 个节点，我想使用 Flink 的超酷 CEP 功能来馈送 Kafka 基础设施(也部署到这个 kubernetes 环境中)。

我希望了解使用 Yarn 作为 Flink 下的资源管理器背后的原因，以及是否有可能(通过一些努力和对项目的贡献)使 Kubernetes 成为与 Yarn 一起的选择。

请注意 - 我是 Yarn 的新手 - 只是在阅读它。也是 Flink 的新手，了解部署和横向扩展架构。

Answer 1

Flink 不依赖于 YARN。它也可以在 Apache Mesos 上运行，也有用户在 Kubernetes 上运行它。在当前版本(Flink 1.4.1)中，在 Kubernetes 中运行 Flink 时需要考虑一些事项(参见 talk by Patrick Lucas)。

Flink 社区目前也在努力改进 Flink 对容器设置的支持。这项工作被称为 FLIP-6并将包含在下一个版本(Flink 1.5.0)中。