scala - 无法使用 Flink 1.5 集群提交作业

Question

尝试从 Flink 1.3.2 迁移到 1.5 我们已经使用 kubernetes 部署了集群。 1.3.2 一切正常，但我无法使用 1.5 提交作业。当我尝试这样做时，我只是看到旋转器无限旋转，通过 REST api 也是如此。我什至无法提交字数示例作业。似乎我的任务管理器无法连接到作业管理器，我可以在 flink UI 中看到它们，但在我看到的日志中

level=WARN akka.remote.transport.netty.NettyTransport - Remote connection to [null] failed with org.apache.flink.shaded.akka.org.jboss.netty.channel.ConnectTimeoutException: connection timed out: flink-jobmanager-nonprod-2.rpds.svc.cluster.local/25.0.84.226:6123

level=WARN akka.remote.ReliableDeliverySupervisor - Association with remote system [akka.tcp://flink@flink-jobmanager-nonprod-2.rpds.svc.cluster.local:6123] has failed, address is now gated for [50] ms. Reason: [Association failed with [akka.tcp://flink@flink-jobmanager-nonprod-2.rpds.svc.cluster.local:6123]] Caused by: [No response from remote for outbound association. Associate timed out after [20000 ms].]

level=WARN akka.remote.transport.netty.NettyTransport - Remote connection to [null] failed with org.apache.flink.shaded.akka.org.jboss.netty.channel.ConnectTimeoutException: connection timed out: flink-jobmanager-nonprod-2.rpds.svc.cluster.local/25.0.84.226:6123

但是我可以从taskmanager到jobmanager进行telnet

此外，如果我以集群模式(jobmanager + taskmanager)启动flink，一切都可以在我的本地运行。在 1.5 文档中，我发现 mode 选项可以在 Flip6 和 Legacy(默认 Flip6)之间翻转模式，但是如果我设置 mode: Legacy，我根本看不到我的任务管理器注册。

这是关于 k8s 部署和 1.5 我需要做的特定事情吗？我检查了 1.5 k8s 配置，它看起来与我们的非常相似，但是我们使用定制的 docker 镜像用于 flink(安全、HA、检查点)

谢谢。

Answer 1

作业管理连接问题。 Jobmanager docker 镜像无法连接到“flink-jobmanager”(${JOB_MANAGER_RPC_ADDRESS}) 地址。

只需使用 afilichkin/flink-k8s Docker 而不是 flink:latest

我已经通过向 jobmanager docker 添加新主机来修复它。你可以在我的github项目中看到它

https://github.com/Aleksandr-Filichkin/flink-k8s/tree/master