hadoop - Hadoop数据连接包

Question

在探索hadoop数据连接包时，我是hadoop的新手，我得到了以下提到的命令:

hadoop jar /home/biadmin/DataJoin.jar com.datajoin.DataJoin 
         /user/biadmin/Datajoin/customers.txt 
         /user/biadmin/Datajoin/orders.txt 
         /user/biadmin/Datajoin/outpu1

我在线程 main中遇到以下错误异常

java.lang.NoClassDefFoundError: org.apache.hadoop.contrib.utils.join.DataJoinMapperBase
    at java.lang.ClassLoader.defineClassImpl(Native Method)
    at java.lang.ClassLoader.defineClass(ClassLoader.java:364)
    at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:154)
    at java.net.URLClassLoader.defineClass(URLClassLoader.java:777)
    at java.net.URLClassLoader.access$400(URLClassLoader.java:96)

Answer 1

您需要在运行作业时将 hadoop-datajoin jar添加到类路径中。使用-libjars选项将额外的jar添加到类路径中。您的命令将如下所示。提供jar目录的正确路径，或者您可以下载jar。

hadoop jar /home/biadmin/DataJoin.jar com.datajoin.DataJoin 
     -libjars <path>/hadoop-datajoin.jar
     /user/biadmin/Datajoin/customers.txt 
     /user/biadmin/Datajoin/orders.txt 
     /user/biadmin/Datajoin/outpu1