hadoop - Sqoop 使用 Java 从 Mysql 导入到 Hadoop hdfs

Question

我正在尝试使用 Java 从 Mysql 加载到 HDFS。我的 Hadoop 版本 2.7.2 和 Sqoop 1.4.6。我收到以下异常

ERROR security.UserGroupInformation: PriviledgedActionException as:xxxx cause:org.apache.hadoop.ipc.RemoteException: Server IPC version 9 cannot communicate with client version 4 16/11/16 17:40:57 ERROR tool.ImportTool: Encountered IOException running import job: org.apache.hadoop.ipc.RemoteException: Server IPC version 9 cannot communicate with client version 4

这是代码

public void importData() {
    SqoopOptions options = new SqoopOptions();
    options.setConnectString("jdbc:mysql://localhost:3306/Sample");
    options.setUsername("UserName");
    options.setPassword("Password");
    options.setNumMappers(1);
    options.setSqlQuery("SELECT * FROM categories WHERE $CONDITIONS       limit 10");
   options.setHadoopMapRedHome(HADOOP_HOME);
   options.setTargetDir(WAREHOUSE_DIR);
   int ret = new ImportTool().run(options);
}

我添加了以下依赖

apache-logging-log4j.jar
commons.io_2.0.1.jar
commons-cli-1.2.jar
commons-configuration-1.7.jar
commons-httpclient-3.0.1.jar
commons-lang-2.4.jar
commons-logging-1.1.1.jar
hadoop-core-1.2.1.jar
jackson-core-asl-1.8.8.jar
jackson-mapper-asl-1.8.8.jar
mysql-connector-java-5.1.34.jar
sqoop-1.4.6.jar

帮我解决这个问题。

Answer 1

您正在使用 Hadoop 版本 2.7.2。

但依赖它有 hadoop-core-1.2.1.jar 是为 hadoop 1.x

用 hadoop-common.jar 替换 hadoop-core-1.2.1.jar -> https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-common/2.7.2

希望对你有帮助