ruby - 如何使用 Anemone 只抓取一个子文件夹

Question

我们可以用 Anemone 抓取一个漏洞网站(例如:https://stackoverflow.com/)，但是如果我只想关注某个文件夹怎么办(例如:https://stackoverflow.com/ >问题)。我怎样才能做到这一点 ？也许使用“focus_crawl”方法？

Answer 1

检查 keep_if 方法可能会有帮助

http://danneu.com/posts/8-scraping-a-blog-with-anemone-ruby-web-crawler-and-mongodb#toc_1

试着传递你想要抓取的模式

还有一个要点https://gist.github.com/1149906 .

注意:我还没有测试过，但你一定可以试试。