hadoop - 在 Spring 云数据中运行 MapReduce Jar

Question

我需要在 spring cloud data flow 中运行一个 mapreduce spring boot 应用程序。通常在 scdf 中注册的应用程序是使用“java -jar jar-name”命令执行的。但我的程序是一个 mapreduce，它必须使用“hadoop jar jar-name”来执行。我如何实现这一目标？在 scdf 中运行 mapreduce 应用程序的更好方法是什么？是否可以直接注册 mapreduce 应用程序？

我正在使用本地数据流服务器来注册应用程序。

Answer 1

在 SCDF 中，运行 JAR 文件的命令格式由部署者管理。比如有local deployer。 Cloud Foundry 等...有/曾经有 Hadoop/YARN，但我相信它已停产。鉴于部署者本身 is an SPI您可以轻松实现自己的甚至 fork /扩展 local-deployer并仅修改需要的内容。