hadoop - 如何在远程 Yarn 资源管理器上部署 samza 作业

Question

我们在 hadoop yarn 上运行 samza 作业。到目前为止，我们都是通过在 Resource Manager 主机上调用 run-job.sh 来手动部署作业。

run-job.sh --config-factory=org.apache.samza.config.factories.PropertiesConfigFactory --config-path=file:///usr/share/promo-rules-consumer/config/config.properties

Samza 部署脚本和 samza 分发 tar "samza-dist.tar.gz"都放在资源管理器本地文件系统上。

但现在我想远程部署作业。为此，我正在尝试使用 Resource Manager 提交应用程序 rest API。

请求:POST http://hostname:8088/ws/v1/cluster/apps

正文:

{
    "application-id":"application_1470648527247_0031",
    "application-name":"test1_0",
    "am-container-spec":
    {

      "commands":
      {
        "command":"/usr/share/promo-rules-consumer/bin/run-job.sh --config-factory=org.apache.samza.config.factories.PropertiesConfigFactory --config-path=file:///usr/share/promo-rules-consumer/config/montecarlo.properties"
      }

    },
    "application-type":"SAMZA"
  }

但是我可以从资源管理器 UI 中看到错误

异常信息:/bin/bash:/usr/share/promo-rules-consumer/bin/run-job.sh: No such file or directory

请告诉我正确的做法。是否有任何链接显示通过 rest API 或通过 java 代码部署 samza 作业。

谢谢

Answer 1

我们正在做的是:

1. 将 tar.gz 工件上传到远程集群 HDFS(您可以使用 web-hdfs:

   http --follow PUT 'http://namenode:50070/webhdfs/v1/user/someuser/location/samza-artifact.tar.gz?op=CREATE&user.name=someuser&overwrite=true' < /local-artifact-location/your-artifact-name-dist.tar.gz

2. 在任务属性中，指定 yarn.package.path，类似

   yarn.package.path=hdfs://namenode:8020/user/someuser/location/samza-artifact.tar.gz

3. Samza 需要了解您的 YARN 设置，从您的生产 Hadoop 集群复制以下内容，放入/yarn-location/conf(注意，/conf 很重要)

   • apacity-scheduler.xml
   • 核心站点.xml
   • log4j.properties
   • yarn-env.sh
   • yarn-site.xml

4. 设置HADOOP_YARN_HOME环境变量

export HADOOP_YARN_HOME=/yarn-location (without conf here..)

1. 运行 run-job.sh:

   bin/run-job.sh --config-factory=org.apache.samza.config.factories.PropertiesConfigFactory --config-path=/path-to-config//your-task.properties