ruby - 恢复网络::ERR_CONNECTION_SET Mechanize ruby

Question

我正在使用 Mechanize for ruby​​ 创建一个网络爬虫。我将一次运行 200k 的批次，并且我希望能够设置一个实例变量，该变量表明该站点无效，并在 get 请求返回错误时继续下一个站点。例如，我正在爬取一个站点，该站点在对它发出 http get 请求时返回 Error 101 (net::ERR_CONNECTION_RESET): The connection was reset.和我的应用程序崩溃。

  def crawl  
    agent = Mechanize.new
    agent.log = Logger.new('out.log')
    agent.user_agent_alias = 'Mac Safari'
    begin
      page = agent.get(@url)
    rescue Mechanize::ResponseCodeError => exception
      if exception.response_code == '400' or exception.response_code == '500'
        @isActive = false
        return
      end
    end
  end

有没有我应该捕获的异常，以便我可以从 ERR_CONNECTION_RESET 中恢复，或者你们过去使用的方法是什么？

Answer 1

为什么不捕获一切？

begin
  page = agent.get(@url)
rescue
  @isActive = false
end