hadoop - 如何为 hadoop 2.0 编译/使用 mahout？

Question

最新版本的 mahout 0.9 仅基于 hadoop 1.x 构建。 (mvn 全新安装)如何为 hadoop 2.0.x 编译 mahout？

因为当我运行命令时:

hadoop jar mahout-examples-0.9-SNAPSHOT-job.jar org.apache.mahout.cf.taste.hadoop.item.RecommenderJob -s SIMILARITY_COOCCURENCE -i test -o result

我总是收到错误信息

IncompatibleClassChangeError: Found interface org.apache.hadoop.mapreduce.JobContext, but class was expected.

谢谢!

Answer 1

要编译 Mahout 以使用 2.x，因为它不是在与 Hadoop 2.x 兼容的包中发布的:

mvn clean install -Dhadoop2 -Dhadoop2.version=2.2.0 -DskipTests=true

如果您想在构建后确认引入了正确的依赖项，请从项目的根目录运行以下命令:

find . -name hadoop*.jar

上述命令生成的工件与 0.9 版本中的不同，因此您需要更新的不仅仅是版本号(似乎有一个新的 mahout-mrlegacy jar)。

话虽这么说，如果有人能给我指出一个运行 2.x 的官方工件(即使它是一个 SNAPSHOT)，我将不胜感激。