java - java.lang.NoClassDefFoundError:在hadoop集群上运行Mahout示例

Question

我正在关注kmeans字符串的Mahout In Action教程，我使用与here相同的代码:
也使用相同的pom.xml。
在使用eclipse的本地计算机上，一切正常，因此，当尝试使用以下命令运行它时，我构建了jar文件(clustering-0.0.1-SNAPSHOT.jar)并将其带到群集(Hortonworks 2.3):项目不同)我收到此错误:

java.lang.NoClassDefFoundError: org/apache/mahout/common/distance/DistanceMeasure

我知道这是一个依赖关系问题，我发现以前曾遇到过此问题但无法理解如何解决的用户所提出的问题。
here和 here

这是我的集群中mahout目录的内容:

ls /usr/hdp/2.3.4.0-3485/mahout/
bin
conf
doc
lib
mahout-examples-0.9.0.2.3.4.0-3485.jar
mahout-examples-0.9.0.2.3.4.0-3485-job.jar
mahout-integration-0.9.0.2.3.4.0-3485.jar
mahout-math-0.9.0.2.3.4.0-3485.jar
mahout-mrlegacy-0.9.0.2.3.4.0-3485.jar
mahout-mrlegacy-0.9.0.2.3.4.0-3485-job.jar

谢谢。

Answer 1

看来您的依赖项对于群集上的代码不可用。

基于该项目的pom.xml，您应该使用:

<properties>
  <mahout.version>0.5</mahout.version>
  <mahout.groupid>org.apache.mahout</mahout.groupid>
</properties>
...
<dependencies>
  <dependency>
    <groupId>${mahout.groupid}</groupId>
    <artifactId>mahout-core</artifactId>
    <version>${mahout.version}</version>
  </dependency>
  ...
</dependencies>

org.apache.mahout.common.distance.DistanceMeasure类包含在mahout-core-0。*。jar中，我有mahout-core-0.7.jar，并且该类在其中。



您可以下载该jar并将其包含在-libjars标志中，也可以将其放在hadoop类路径中。