java - 我可以在map-reduce中编写自定义java方法吗？

Question

我可以在 Map-Reduce 中用 JAVA 编写自己的自定义静态方法吗？我可能想为进入映射器的每个键值对调用该方法？

Answer 1

你可以做这样的事情，我也一直这样做。您调用的方法可以是静态的，也可以不是静态的。

基本上:

如果您从项目中包含的您自己编写的代码调用外部代码，则在将项目导出到 .jar 文件时，需要将其与您的代码捆绑在一起。

如果您从项目构建路径中包含的 .jar 文件引用方法等，则需要将该 .jar 文件放置在集群中运行作业的每个节点上，然后编辑服务器上 $HADOOP_HOME/conf/hadoop-env.sh 文件中的 HADOOP_CLASSPATH 变量并重新启动集群。否则你会得到一个找不到类的错误。

一个例子是:

export HBASE_CLASSPATH=/path/to/one/file.jar:/path/to/another/file.jar