Spring 数据流和 yarn : How to set properties properly?

Question

如何更改默认的 appdeployappmaster 属性？

当我尝试通过 Spring DataFlow YARN 部署应用程序时。我注册了我的应用程序，创建了一个流，然后单击“部署”按钮。这样做时，我收到以下错误:

[XNIO-2 task-2] WARN o.s.c.d.s.c.StreamDeploymentController - Exception when deploying the app StreamAppDefinition [streamName=histo, name=my-app, registeredAppName=my-app, properties={spring.cloud.stream.bindings.input.destination=log, spring.cloud.stream.bindings.input.group=histo}]: java.util.concurrent.ExecutionException: org.springframework.yarn.YarnSystemException: Invalid host name: local host is: (unknown); destination host is: "null":8032; java.net.UnknownHostException; For more details see: http://wiki.apache.org/hadoop/UnknownHost; nested exception is java.net.UnknownHostException: Invalid host name: local host is: (unknown); destination host is: "null":8032; java.net.UnknownHostException; For more details see: http://wiki.apache.org/hadoop/UnknownHost

如您所见，部署程序无法找到“资源管理器”URI，尽管在 Spring DataFlow Server 启动时很好找到。
所以我只在部署时遇到问题。

我应该设置哪个属性来解决这个问题，我应该在哪里做？

编辑 1:
按照 Janne Valkealahti 的回答，我在 /dataflow/apps/stream/app/servers.yml 中添加了以下属性，重新启动服务器，并尝试重新部署我的流。

spring:
  cloud:
    dataflow:
      yarn:
        version: 0.0.1-SNAPSHOT
    deployer:
      yarn:
        version: 1.0.2.RELEASE
    stream:
      kafka:
        binder:
          brokers: kafka.my-domain.com:9092
          zkNodes: zookeeper.my-domain.com:2181/node
  # Configured for Hadoop single-node running on localhost. Replace with property values reflecting your
  # actual Hadoop cluster when running in a distributed environment.
  hadoop:
    fsUri: hdfs://mapr.my-domain.com/referentiel/ca_category_2014/
    resourceManagerHost: mapr.my-domain.com
    resourceManagerPort: 8032
    resourceManagerSchedulerAddress: mapr.my-domain.com:8030
  session:
    store-type: none

我仍然收到完全相同的消息。

PS:我没有使用 Ambari，我想先了解它是如何手动工作的。

编辑 2:
我解决了添加 -Dspring.config.location 的问题DataFlow 服务器上的 VM arg。给定的配置被传递给部署者，应用程序被有效地部署。

我会为它写一个答案。

Answer 1

您没有说明您的安装是基于 ambari 还是正常的手动 YARN 安装，所以我认为它是后者(手动)。

我认为一个问题是在分发中你使用 config/servers.yml resourceManagerHost 的设置错误因为它默认为 localhost .启动流时，此文件仅分发一次到 hdfs。如果您在重新部署/创建流后更改了它，则 hdfs 目录中的应用程序将不会更新。默认情况下，hdfs 中的这个文件是 /dataflow/apps/stream/app/servers.yml .

这个错误是有道理的，因为控制整个东西的数据流 yarn 服务器也需要访问 yarn 资源管理器来提交应用程序。服务器的设置也来自相同的servers.yml文件。