ruby-on-rails - Rails rake 任务在运行时不断消耗更多 RAM(使用 Mechanize 抓取网站)

Question

我使用 Mechanize gem 来抓取网站。我在 Rails rake 任务中编写了一个非常简单的单线程爬虫，因为我需要访问 Rails 模型。

爬虫运行得很好，但在观察它运行一段时间后，我可以看到它随着时间的推移消耗越来越多的 RAM，这很糟糕。

我使用 God gem 来监控我的爬虫。

下面是我的 rake 任务代码，我想知道它是否有任何内存泄漏的可能性？

task :abc => :environment do
  prefix_url = 'http://example.com/abc-'
  postfix_url = '.html'
  from_page_id = (AppConfig.last_crawled_id || 1) + 1
  to_page_id = 100000

  agent = Mechanize.new
  agent.user_agent_alias = 'Mac Safari'

  (from_page_id..to_page_id).each do |i|
    url = "#{prefix_url}#{i}#{postfix_url}"
    puts "#{Time.now} - Crawl #{url}"
    page = agent.get(url)

    page.search('#content > ul').each do |s|
      var = s.css('li')[0].text()
      value = s.css('li')[1].text()
      MyModel.create :var => var, :value => value
    end

    AppConfig.last_crawled_id = i
  end
  # Finish crawling, let's stop
  `god stop crawl_abc`
end

Answer 1

除非您拥有最新版本的 mechanize(2.1.1 仅在一天前发布)默认情况下 mechanize 以无限的历史记录大小运行，即它保留您访问过的所有页面，因此将逐渐使用越来越多的页面内存。

在您的情况下，这没有任何意义，因此请调用 max_history=在您的代理上应该限制以这种方式使用的内存量