hadoop - 在 cassandra 中运行 hadoop wordcount 示例时出现异常

Question

我有 2 个节点的集群，并且我在这些节点上正确安装了 hadoop 和 cassandra，当我在 [ https://github.com/apache/cassandra/tree/trunk/examples/hadoop_cql3_word_count] 中运行字数统计示例时

(首先运行 wordcountsetup 然后从 wordcount 创建 jar 并在 hadoop 中运行它)我得到了异常:

Exception in thread "main" java.lang.NoClassDefFoundError: **com/datastax/driver/core/policies/LoadBalancingPolicy**
    at WordCount.run(WordCount.java:236)
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
    at WordCount.main(WordCount.java:78)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:606)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:212)
Caused by: java.lang.ClassNotFoundException: com.datastax.driver.core.policies.LoadBalancingPolicy
    at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
    at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
    ... 8 more

Answer 1

Mapreduce 程序主要有两个部分。 Driver 部分，Map/Reduce 部分。 Driver 部分将在您触发 mapreduce 程序的同一台机器上执行，而 Map/Reduce 部分将在您的任何从节点中执行。在这里你面对 NoClassDefFoundError 这意味着类 com.datastax.driver.core.policies.LoadBalancingPolicy 在您的驱动程序代码或 Mapper/Reduce 代码中都无法访问。

如果您的驱动程序代码异常，则在执行 hadoop 命令之前设置环境变量。需要找到包含类 的 Jar com.datastax.driver.core.policies.LoadBalancingPolicy 在占位符中指定 jar 完整路径

export HADOOP_CLASSPATH=<_JAR_NAME>;     # 

如果异常来自 Mapper/Reducer，则上述选项将不起作用。在这种情况下，通过在你的 jar(myJar.jar) 中添加依赖 jars 来创建一个胖 jar

或使用 hadoop -libjars 选项(需要在您的 Main 类中覆盖 ToolRunner 类)