hadoop - 在 Hadoop 集群中为 MapReduce 作业部署 JAR

Question

抱歉这个愚蠢的问题。我在 CentOS linux 中有一个 5 节点的 hadoop 集群。

名称节点/职位追踪器/二级名称节点/数据节点 - 2

我写了一个 map reduce 并编译了 JAR。我需要将 JAR 部署到哪个节点？

提前致谢。

Answer 1

在一个典型的hadoop集群中，应该有客户端节点。客户端节点用于在hadoop集群上运行客户端应用程序和集群管理工具。客户端机器执行以下任务:

1. 在HDFS集群中加载数据
2. 提交 MapReduce 作业(描述如何处理数据)
3. 在作业完成后检索或查看作业结果
4. 提交 Pig 或 Hive 查询

Hadoop 管理员通常在安装和配置hadoop 集群时配置客户端机器。请确定您的集群中是否配置了客户端节点。如果是，那么您可以从那里部署和安排/提交您的工作。您也可以使用 NameNode 部署和提交 jar，但使用 namenode 部署 jar 不是一种有效的方式。

如果你正在运行 oozie，那么你可以将你的 jar 放在 HDFS 上，你可以通过 oozie 安排 hadoop 作业。