hadoop - 从oozie运行时，nutch 1.7会将更改文件系统保留为本地文件

Question

我从命令行构建并运行了nutch 1.7

hadoop jar apache-ntuch-1.7.job org.apache.nutch.crawl.Crawl hdfs:// myserver / nutch / urls -dir hdfs:// myserver / nutch / crawl -depth 5 -topN100

但是当我从oozie运行相同的东西时，它会不断
FS错误:hdfs:// myserver / nutch / crawl / crawldb / current，预期:file:///

每当代码执行时，我都会检查源代码

FileSystem fs = new JobClient(job).getFs();

fs变回本地fs。

我覆盖了这些语句的所有实例，然后工作在获取阶段终止，简单地说
java.io.IOException:作业失败!
在org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:838)

实际上，从oozie运行会导致加载错误版本的JobClient类(来自hadoop-core.jar)。

有人看过吗？

Answer 1

看来oozie conf目录缺少正确的* -site.xml文件。我将mapred-site.xml添加到/ etc / oozie / conf / hadoop-conf目录，该问题消失了。