java - 将 MySQL 连接到 Apache nutch

Question

我是第一次使用 Apache Nutch。爬取后如何将数据存储到MySQL数据库中？我希望能够在其他 Web 应用程序中轻松使用这些数据。

我找到了一个 question related , 但我不清楚 MySQL 连接器替换了代码 ID 的哪一部分。请帮助提供一个简短的代码示例。

Answer 1

从http://mirror.nyi.net/apache//nutch/apache-nutch-1.2-src.zip获取源代码

在编辑器中打开 org.apache.nutch.crawl.Crawl 类。

查找变量Path crawlDb = new Path(dir + "/crawldb");

该变量将提示在何处替换代码以获得您自己的 CustomMySQLCrawl 类。

持久化发生在这个调用中:crawlDbTool.update(crawlDb, segs, true, true);//update crawldb 所以你应该把它保存到数据库中。此时您可能要考虑集成 hibernate。