java - Flink Job Cluster 与 Session Cluster - 部署和配置

Question

我正在研究 Flink 1.9.1 的 docker/k8s 部署可能性。

我正在阅读/观看 [1][2][3][4]。

目前我们确实认为我们会尝试采用作业集群方法，尽管我们想知道这方面的社区趋势是什么？我们宁愿每个 Flink 集群不要部署多个作业。

无论如何，我想知道一些事情:

1. 如何更改作业和每个任务管理器的任务槽数 session 集群？就我而言，我在 VirtualBox 上运行 docker，其中有 4 个分配给该机器的 CPU。然而，每个任务管理器都是由作业集群只有一个任务槽。然而，对于 session 集群，在同一台机器上，每个任务管理器都会生成 4 个任务槽。

   在这两种情况下，Flink 的 UI 都显示每个任务管理器都有 4 个 CPU。

2. 如果我使用作业集群，如何重新提交作业。我指的是这个用途案例[5]。你可能会说，我必须重新开始工作，但以不同的方式论据。这样做的程序是什么？顺便说一句，我正在使用检查点。

我应该杀死所有任务管理器容器并使用不同的重新运行它们吗？参数？

如何使用 session 集群重新提交作业？

如何为作业/ session 集群提供日志配置？我有一个案例，我更改了 log4j.properties 中的日志级别和日志格式这在本地(IDE)环境中运行良好。但是当我构建时fat jar，并基于这个 jar 运行一个作业集群，这表明我的 log4j属性不会传递到集群。我看到了原始格式原始(INFO)级别。

谢谢

[1] https://youtu.be/w721NI-mtAA

[2] https://youtu.be/WeHuTRwicSw

[3] https://ci.apache.org/projects/flink/flink-docs-stable/ops/deployment/docker.html

[4] https://github.com/apache/flink/blob/release-1.9/flink-container/docker/README.md

[5] http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Flink-Job-claster-scalability-td32027.html

Answer 1

Currently we do think that we will try go with Job Cluster approach although we would like to know what is the community trend with this? We would rather not deploy more than one job per Flink cluster.

这个问题可能更适合用户邮件列表。

How can I change the number of task slots per task manager for Job and Session Cluster?

您可以通过配置选项 taskmanager.numberOfTaskSlots 来控制它

How I can resubmit job using Session Cluster?

这是描述的here 。最重要的是，您创建一个保存点并从中恢复您的工作。也可以从 retained checkpoints 恢复工作。 .

How can I resubmit job if I'm using a Job Cluster.

从概念上讲，这与从 session 集群中的保存点恢复作业没有什么不同。您可以将保存点的路径指定为集群入口点的命令行参数。详情描述here .

How I can provide log config for Job/Session cluster?

如果您使用 Flink 二进制发行版的 bin/ 目录中的脚本来启动集群(例如 bin/start-cluster.sh、bin/jobmanager.sh、bin/taskmanager.sh 等)，您可以通过修改 conf/log4j.properties 来更改 log4j 配置。日志记录配置作为系统变量传递到 JobManager 和 TaskManager JVM(请参阅 bin/flink-daemon.sh )。另请参阅章节"How to use logging"在 Flink 文档中。