ruby-on-rails - 递归ruby方法中的明显内存泄漏

Question

此脚本一运行，我就看到服务器上的 CPU 使用率和磁盘 IO 水平稳步上升，直到它最终被终止。

这是一个脚本，它通过从数据库中选择一个未抓取的 url，抓取它并将其链接添加到数据库来递归地抓取站点。

我假设函数内或函数与 ActiveRecord 交互的方式存在某种内存泄漏。有什么方法可以提高效率并堵住漏洞？

def self.site project, operate

  @log = Logger.new(STDOUT)

  recurse = ->() do
    #
    # Pick a from the database to crawl
    unless ProjectData.where( status: 'unscraped', project_id: project[:id] ).exists?
      @log.info "No pages to scrape"
      return
    end  

    working_page = ProjectData.where( status: 'unscraped', project_id: project[:id]).first
    working_page.status = 'processing'
    working_page.save

    @log.info "Scraping #{working_page.url}"
    #
    #   Scape it
    data, links = OutriderTools::Scrape::page( working_page.url, operate)

    unless links.nil? 
      links.each  do |link|
        # Check if link already exists
        #if ProjectData.find_by(url: link.to_s).nil?
        unless ProjectData.where( url: link.to_s, project_id: project[:id] ).exists?  
          ProjectData.create({
            :url        => link.to_s,
            :status     => 'unscraped',
            :project_id => project[:id]
          })
          @log.info "Adding new url to database: #{link.to_s}"
        else
          @log.info "URL already exists in database: #{link.to_s}"
        end
      end
    end

    @log.info "Saving page data for url #{working_page.url}"
    @log.info data[:status]
    working_page.update( data ) unless data.nil?

    recurse.call

  end

  recurse.call

end

Answer 1

只是一个想法，不是答案:

我希望您知道，通过使用递归，您可以将所有收集到的数据和变量保存在内存中——在递归结束之前，它们永远不会被释放。

例如，working_page 和 links 变量(连同 DB ActiveRecord 类)都在内存中保持事件状态，而新的 working_page 和links 变量在递归命名空间中创建。

可能没有内存泄漏，只是设计问题。

除非您在递归之后再次需要该数据——您似乎并不需要——否则最好使用 while 循环:

working_page = nil
while (working_page = ProjectData.where( status: 'unscraped', project_id: project[:id] ).first)
   # ... do your thing...
end

(= 不是错误。它被用作一个赋值，整个赋值被审查以检查 working_page 是否有一个对象存在并分配给它)