java - 将 Nutch 编译成一个 Jar 文件(并运行它)的过程是什么？

Question

我正在尝试以一种我可以通过包含所有依赖项的 JAR 文件访问其所有功能的方式运行 Nutch 爬虫。

例如，

java -jar nutch-all-1.2.jar -crawl <other params>

并在稍后阶段，使用 hadoop 调用它。

目前，正在做一个

java -jar nutch-1.2.jar 

在nutch目录下存在的JAR文件导致错误，

Failed to load Main-Class manifest attribute from
nutch-1.2.jar

我相信这是因为这个特定的 JAR 不包含 list XML 文件或其他依赖 JAR。为此，您建议将 nutch 构建到一个 JAR 中的最佳方法是什么？

谢谢!

Answer 1

经过大量研究后我意识到，要以一种简单的方式在命令行之外运行 Nutch，可以使用 nutch.job 文件来代替。语法是，

hadoop jar nutch-1.0.job org.apache.nutch.crawl.Crawl urls -dir crawl -depth 1