java - 加入mapreduce

Question

我正在使用连接器和分割器函数来解决 map 减少连接问题。我在 Google 上搜索了很多，发现在项目引用的库中添加 guava-18.0.jar 文件。我还将 javadoc 位置附加到 jar 文件，但仍然收到下面提到的错误:

Error: java.lang.ClassNotFoundException: com.google.common.base.Splitter
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
    at edu.cs.okstate.cs.Partitioning.Partition_Mapper.setup(Partition_Mapper.java:29)
    at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:142)
    at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:764)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:364)
    at org.apache.hadoop.mapred.Child$4.run(Child.java:255)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:415)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1190)
    at org.apache.hadoop.mapred.Child.main(Child.java:249)

Answer 1

我猜你正在使用 IDE 来管理你的项目，而不是依赖管理工具(Maven、Gradle、Ant+Ivy...)，并且 Guava jar 实际上并没有出现在类路径中您的 Hadoop 工作。

确保它与已部署的内容捆绑在一起。