perl - 使用 perl WWW::Mechanize 处理 404 和内部服务器错误

Question

我正在使用 WWW::Mechanize 来抓取站点，它运行良好，除了有时它会点击返回错误代码 404 或 500(未找到或内部服务器错误)的页面，然后我的脚本将退出并停止运行。这真的扰乱了我的数据收集，所以无论如何 WWW::Mechanize 会让我捕获这些错误并查看返回的错误代码类型(即 404,500 等)。谢谢您的帮助!

Answer 1

您需要禁用自动检查:

my $mech = WWW::Mechanize->new( autocheck => 0 );

$mech->get("http://somedomain.com");

if ( $mech->success() ) {
    ...
}
else {
    print "status is: " . $mech->status;
}

另外，顺便说一下，看看 WWW::Mechanize::Cached::GZip和 WWW::Mechanize::Cached在测试机械脚本时加快开发速度。