elasticsearch - 带有 nutch REST api 的 Nutch 弹性索引器中的未知问题

Question

我试图使用 REST 端点公开 nutch，但在索引器阶段遇到了问题。我正在使用 elasticsearch 索引编写器将文档索引到 ES。我使用了 $NUTCH_HOME/runtime/deploy/bin/nutch startserver 命令。索引时抛出未知异常。

Error: com.google.common.util.concurrent.MoreExecutors.directExecutor()Ljava/util/concurrent/Executor; 16/10/07 16:01:47 INFO mapreduce.Job: map 100% reduce 0% 16/10/07 16:01:49 INFO mapreduce.Job: Task Id : attempt_1475748314769_0107_r_000000_1, Status : FAILED Error: com.google.common.util.concurrent.MoreExecutors.directExecutor()Ljava/util/concurrent/Executor; 16/10/07 16:01:53 INFO mapreduce.Job: Task Id : attempt_1475748314769_0107_r_000000_2, Status : FAILED Error: com.google.common.util.concurrent.MoreExecutors.directExecutor()Ljava/util/concurrent/Executor; 16/10/07 16:01:58 INFO mapreduce.Job: map 100% reduce 100% 16/10/07 16:01:59 INFO mapreduce.Job: Job job_1475748314769_0107 failed with state FAILED due to: Task failed task_1475748314769_0107_r_000000 Job failed as tasks failed. failedMaps:0 failedReduces:1

ERROR indexer.IndexingJob: Indexer: java.io.IOException: Job failed! at org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:865) at org.apache.nutch.indexer.IndexingJob.index(IndexingJob.java:145) at org.apache.nutch.indexer.IndexingJob.run(IndexingJob.java:228) at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70) at org.apache.nutch.indexer.IndexingJob.main(IndexingJob.java:237)

Failed with exit code 255.

如有任何帮助，我们将不胜感激。

PS:使用堆栈跟踪进行调试后，我认为问题是由于 guava 版本不匹配造成的。我试过更改插件的 build.xml(parse-tika 和 parsefilter-naivebayes)，但它没有用。

Answer 1

我已经找到了这个问题的解决方案。这是由于 guava 依赖的版本兼容性。 Hadoop 使用 guava-11.0.2.jar 作为依赖。但是nutch中的elastic indexer插件需要18.0版本的guava。这就是它在尝试在分布式 hadoop 中运行时抛出异常的原因。所以我们只需要将 hadoop 库中的 guava 版本更新到 18.0(可以在 $HADOOP_HOME/share/hadoop/common/libs/ 找到)。