hadoop - 导入时出现sqoop错误

Question

在运行以下命令时，出现错误-

sqoop import --connect jdbc:mysql://127.0.0.1/hadoopguide --table widgets -m 1

我不知道为什么要在HDFS中寻找avro jar文件。
SQOOP_HADOOP_HOME和 SQOOP_MAPRED_HOME设置为Hadoop目录。
我正在使用Hadoop 2.6.0和sqoop版本1.4.5

15/11/12 14:56:49 INFO jvm.JvmMetrics: Initializing JVM Metrics with processName=JobTracker, sessionId=
15/11/12 14:56:49 INFO mapreduce.JobSubmitter: Cleaning up the staging area file:/tmp/hadoop-pranay/mapred/staging/pranay1505087555/.staging/job_local1505087555_0001
15/11/12 14:56:49 ERROR tool.ImportTool: Encountered IOException running import job: java.io.FileNotFoundException: File does not exist: hdfs://127.0.0.1:54310/home/<some id>/sqoop-1.4.5.bin__hadoop-2.0.4-alpha/lib/avro-1.7.5.jar
    at org.apache.hadoop.hdfs.DistributedFileSystem$18.doCall(DistributedFileSystem.java:1122)
    at org.apache.hadoop.hdfs.DistributedFileSystem$18.doCall(DistributedFileSystem.java:1114)
    at org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81)

Answer 1

确保您的lib文件夹包含以下所有jar。

[root@sandbox lib]# pwd
/usr/hdp/current/sqoop-client/lib
[root@sandbox lib]# ls -l
total 6832
-rw-r--r-- 1 root root  224135 2015-03-31 21:03 ant-contrib-1.0b3.jar
-rw-r--r-- 1 root root   36427 2015-03-31 21:03 ant-eclipse-1.0-jvm1.2.jar
-rw-r--r-- 1 root root  400090 2015-03-31 21:03 avro-1.7.5.jar
-rw-r--r-- 1 root root  170228 2015-03-31 21:03 avro-mapred-1.7.5-hadoop2.jar
-rw-r--r-- 1 root root  241259 2015-03-31 21:03 commons-compress-1.4.1.jar
-rw-r--r-- 1 root root  108990 2015-03-31 21:03 commons-io-1.4.jar
-rw-r--r-- 1 root root  706015 2015-03-31 21:03 hsqldb-1.8.0.10.jar
-rw-r--r-- 1 root root  229445 2015-03-31 21:03 jackson-core-asl-1.9.13.jar
-rw-r--r-- 1 root root  770013 2015-03-31 21:03 jackson-mapper-asl-1.9.13.jar
lrwxrwxrwx 1 root root      40 2015-04-30 08:50 mysql-connector-java.jar -> /usr/share/java/mysql-connector-java.jar
-rw-r--r-- 1 root root 2714189 2015-10-17 03:09 ojdbc6.jar
-rw-r--r-- 1 root root   29532 2015-03-31 21:03 paranamer-2.3.jar
-rw-r--r-- 1 root root 1245776 2015-03-31 21:03 snappy-java-1.0.5.jar
-rw-r--r-- 1 root root   94608 2015-03-31 21:03 xz-1.0.jar

还要检查您的 hdfs权限。.
您与哪个用户一起运行Sqoop，以及哪个用户对该文件夹具有权限。

这个问题有更多信息。
java.io.FileNotFoundException: File does not exist: hdfs://localhost:9000/home/hduser/sqoop/lib/hsqldb-1.8.0.10.jar