hadoop - Jenkins作为Hadoop Edge节点上的Job Server

Question

我不确定有人可以帮助我，但我会尝试。

我正在Openshift-Cluster上运行Jenkins，以将其用于部署并作为运行ETL-Jobs的作业服务器。这些作业正在将数据从平面文件传输到数据库，以及从db传输到db。

现在，我应该扩展系统，以使用MapR将数据传输到hadoop集群。
我想知道的是，如何使用MapR从hadoop-cluster中使用新的Jenkins-Slave作为EdgeNode上的作业服务器。我是否需要EdgeNode上的Jenkins，还是可以从现有的Jenkins-Jobserver使用MapR？

Mabye，有人可以为我提供帮助，或者可以找到一些信息/链接来解决问题。

谢谢大家...

Answer 1

我不太清楚“使用MapR”，因为在一天结束时我只是将其视为Hadoop，但是您可以通过仅安装Hadoop Java(也可能是MapR)客户端来有效地将Jenkins从属设备变成“边缘节点”实用程序以及来自其他边缘节点的任何XML配置文件，这些文件定义了如何与群集进行通信。

然后，Jenkins将能够运行sh("hadoop jar app.jar")，例如

如果您使用的是Openshift，则还可以尝试将Hadoop客户端放入可以在Jenkins或其他任何地方运行的Docker镜像中