Perl 网络爬虫框架

Question

多年来我一直在使用 Perl 为各种不同的目的进行爬取和抓取，一直困扰我的一件事是虽然有大量用于小规模抓取和抓取的 CPAN 模块，例如 LWP、WWW::Mechanize、Web::Scraper、AnyEvent::HTTP，以及现在的 Mojo::UserAgent，似乎没有像其他语言那样的任何爬行框架。

例如 Apache Nutch (/Droids) 和 Scrapy (Python)。

有人知道 Perl 中的任何等效项目吗？

Answer 1

您可能需要查看诸如 HTML::Robot::Scraper 之类的模块或者 HTTP::UserAgentString::Robot我认为还有一些 robot以他们的名义。