hadoop - 大数据 : Sqoop-Export Error

Question

我对这个世界很陌生。使用 sqoop 运行导出命令时，出现以下错误“输入路径不存在:hdfs://quickstart.cloudera:8020/home/cloudera/Test5”。我检查了路径 /home/cloudera/Test5 并且该文件存在于路径中。从 sqoop 配置的 core-site.xml 文件中可以看到 hdfs 路径的详细信息，当我通过文件浏览器测试它时只需打开 IE 并输入 hdfs://quickstart.cloudera:8020/home/cloudera/Test5，消息显示为“无法连接”。我不知道属性的正确参数值。请帮我解决这个问题。

请在下面找到属性文件参数和错误详细信息。

参数文件

<name>fs.defaultFS</name>
<value>hdfs://quickstart.cloudera:8020</value>

错误

[cloudera@quickstart hadoop-conf]$ sqoop export --connect jdbc:sqlserver://10.34.83.177:54815 --username hadoop --password xxxxxx --table hadoop_sanjeeb3 --export-dir /home/cloudera/Test5 -mapreduce-job-name sqoop_export_job -m 1
Warning: /usr/lib/sqoop/../accumulo does not exist! Accumulo imports will fail.
Please set $ACCUMULO_HOME to the root of your Accumulo installation.
15/10/01 08:42:47 INFO sqoop.Sqoop: Running Sqoop version: 1.4.5-cdh5.4.2
15/10/01 08:42:47 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead.
15/10/01 08:42:48 INFO manager.SqlManager: Using default fetchSize of 1000
15/10/01 08:42:48 INFO tool.CodeGenTool: Beginning code generation
15/10/01 08:42:49 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM [hadoop_sanjeeb3] AS t WHERE 1=0
15/10/01 08:42:49 INFO orm.CompilationManager: HADOOP_MAPRED_HOME is /usr/lib/hadoop-mapreduce
Note: /tmp/sqoop-cloudera/compile/aa9c9fd9f69b76202be29508561f22ff/hadoop_sanjeeb3.java uses or overrides a deprecated API.
Note: Recompile with -Xlint:deprecation for details.
15/10/01 08:42:51 INFO orm.CompilationManager: Writing jar file: /tmp/sqoop-cloudera/compile/aa9c9fd9f69b76202be29508561f22ff/hadoop_sanjeeb3.jar
15/10/01 08:42:51 INFO mapreduce.ExportJobBase: Beginning export of hadoop_sanjeeb3
15/10/01 08:42:51 INFO Configuration.deprecation: mapred.job.tracker is deprecated. Instead, use mapreduce.jobtracker.address
15/10/01 08:42:51 INFO Configuration.deprecation: mapred.jar is deprecated. Instead, use mapreduce.job.jar
15/10/01 08:42:54 WARN mapreduce.ExportJobBase: Input path hdfs://quickstart.cloudera:8020/home/cloudera/Test5 does not exist
15/10/01 08:42:54 INFO Configuration.deprecation: mapred.reduce.tasks.speculative.execution is deprecated. Instead, use mapreduce.reduce.speculative
15/10/01 08:42:54 INFO Configuration.deprecation: mapred.map.tasks.speculative.execution is deprecated. Instead, use mapreduce.map.speculative
15/10/01 08:42:54 INFO Configuration.deprecation: mapred.map.tasks is deprecated. Instead, use mapreduce.job.maps
15/10/01 08:42:54 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032
15/10/01 08:42:58 INFO mapreduce.JobSubmitter: Cleaning up the staging area /tmp/hadoop-yarn/staging/cloudera/.staging/job_1443557935828_0011
15/10/01 08:42:58 WARN security.UserGroupInformation: PriviledgedActionException as:cloudera (auth:SIMPLE) cause:org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://quickstart.cloudera:8020/home/cloudera/Test5
15/10/01 08:42:58 ERROR tool.ExportTool: Encountered IOException running export job: org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://quickstart.cloudera:8020/home/cloudera/Test5

问候 - Sanjeeb

Answer 1

您似乎混淆了本地文件系统和 hadoop 文件系统。您尝试使用 sqoop 导出的文件应该存在于 hdfs 中。目录位置/home/cloudera/Test 似乎存在于本地文件系统中。

执行下面给出的命令并确认您提到的位置存在于 hdfs 中。

hadoop fs -ls /home/cloudera/Test5

如果出现错误，则意味着该目录在 hdfs 中不存在。您不能使用简单的 ls 命令浏览 hdfs，您必须使用 hadoop 命令。如果您想使用浏览器浏览 hdfs 目录，请打开 namenode web ui ( http://namenode-host:50070 )，然后您可以选择浏览文件和目录。您无法使用浏览器使用 hdfs://quickstart.cloudera:8020/home/cloudera/Test5 等 url 浏览 hdfs 文件系统。您可以使用 webhdfs用于类似操作。

确保文件存在于 hdfs 中并再次触发命令。它会起作用。

注意:通常我们从不在 hdfs 中保留/home/cloudera 这样的用户目录。该结构类似于/user/{username}。默认情况下，hdfs 将/user/{username} 视为 hdfs 中的主目录。其中 {username} 将是 linux 中的当前登录用户