apache-flink - Flink 动态缩放

Question

我目前正在研究 Flink 的可扩展性。从版本 1.2.0 开始，引入了动态重新缩放。我正在考虑扩展从 Kafka 源读取数据的长时间运行的作业。

关于动态缩放的问题。

要横向扩展我的 flink 应用程序，例如:添加新的任务管理器，我是否必须重新启 Action 业/ yarn session 才能使用新添加的资源？

我认为可以编写 Yarn 客户端来部署新的任务管理器并使其与作业管理器通信，现有的 flink yarn 客户端应用程序中是否已经可用？

如果这些问题太基本，请原谅我，我确实浏览了文档，我不得不承认我最近无法将这些概念与 yarn 上的一些测试部署完全结合起来。

Answer 1

目前，动态缩放 意味着更新算子并行性的能力(Flink 1.2)，无论是键控状态还是非键控状态。

要横向扩展我的 flink 应用程序，例如:添加新的任务管理器，我是否必须重新启 Action 业/ yarn session 才能使用新添加的资源？ - 是 ，必须先停止作业，更新并行度，然后重新启动它。不必担心状态，Flink 会处理它们，包括重新分区。

我认为可以编写 Yarn 客户端来部署新的任务管理器并使其与作业管理器通信，现有的 flink yarn 客户端应用程序中是否已经可用？ - 否 ， 你不能。此功能似乎在 future 添加。目前，我们不能这样做。