apache-flink - 弗林克 : How to pass extra JVM options to TaskManager and JobManager

Question

我正在尝试使用以下命令在 yarn 上提交 flink 作业:

/usr/flink-1.3.2/bin/flink run -yd -yn 1 -ynm MyApp -ys 1 -yqu default -m yarn-cluster -c com.mycompany.Driver -j /usr/myapp.jar -Denv.java.opts="-Dzkconfig.parent /app-config_127.0.0.1 -Dzk.hosts localhost:2181 -Dsax.zookeeper.root /app"

我在 flink 客户端日志中得到了 env.java.opts，但是当应用程序提交到 Yarn 时，这些 Java 选项将不可用。由于额外的 JVM 选项不可用，应用程序在与 zookeeper 连接时抛出异常。

请建议如何将动态属性传递给在 yarn 上运行的 JM 和 TM。

注意:我尝试将 env.java.opts 选项设置为 conf/flink-conf.yaml 并且它工作正常。我需要一种通过 flink run 命令设置此选项的方法。

Answer 1

我认为你应该用 -yD env.java.opts 替换 -Denv.java.opts 这样你的命令就变成了:

/usr/flink-1.3.2/bin/flink run -yd -yn 1 -ynm MyApp -ys 1 -yqu default -m yarn-cluster -c com.mycompany.Driver -j /usr/myapp.jar -yD env.java.opts="-Dzkconfig.parent /app-config_127.0.0.1 -Dzk.hosts localhost:2181 -Dsax.zookeeper.root /app"