hadoop - 如何在 hadoop 中创建一个 nutch 作业

Question

hadoop jar apache-nutch-1.6.job org.apache.nutch.crawl.Crawl firstSite/urls -dir urls -depth 1 -topN 5

Exception in thread "main" java.io.IOException: Error opening job jar: apache-nutch-1.6.job
        at org.apache.hadoop.util.RunJar.main(RunJar.java:90)
Caused by: java.io.FileNotFoundException: apache-nutch-1.6.job (No such file or directory)
        at java.util.zip.ZipFile.open(Native Method)
        at java.util.zip.ZipFile.<init>(ZipFile.java:215)
        at java.util.zip.ZipFile.<init>(ZipFile.java:145)
        at java.util.jar.JarFile.<init>(JarFile.java:153)
        at java.util.jar.JarFile.<init>(JarFile.java:90)
        at org.apache.hadoop.util.RunJar.main(RunJar.java:88)

Answer 1

直接的答案是您的 apache-nutch-1.6.job 丢失或不在当前目录中。

Apache Nutch .job 文件(例如 apache-nutch-1.9.job)是在您编译 nutch(通过'ant')时在 runtime/deploy/中创建的。请注意，您需要 apache-nutch 的源代码分发，而不是二进制版本，以创建此文件。

.job 文件实际上是一个 JAR 文件。它比 apache-nutch-1.9.jar 大得多，因为它包含所有依赖项(以及来自 conf/的文件)，因此它包含运行 Hadoop 作业所需的一切。