ruby - 为什么这个 XML 解析 Ruby 代码在禁用 GC 的情况下运行得更慢？

Question

我有一段使用 libxml-ruby gem 解析 500 MB XML 文件的代码。令我惊讶的是，这段代码在 GC 禁用 的情况下运行较慢，这似乎违反直觉。可能是什么原因？我有足够的可用内存，但系统没有交换。

require 'xml'

#GC.disable

@reader = XML::Reader.file('books.xml', :options => XML::Parser::Options::NOBLANKS)

@reader.read 
@reader.read

while @reader.name == 'book'
  book_id = @reader.get_attribute('id')
  @reader.read

  until @reader.name == 'book' && @reader.node_type == XML::Reader::TYPE_END_ELEMENT
    case @reader.name
    when 'author'
      author = @reader.read_string
    when 'title'
      title = @reader.read_string
    when 'genre'
      genre = @reader.read_string
    when 'price'
      price = @reader.read_string
    when 'publish_date'
      publish_date = @reader.read_string
    when 'description'
      description = @reader.read_string
    end
    @reader.next
  end

  @reader.read      

end
@reader.close

这是我得到的结果:

ruby     gc on   gc off
2.2.0    16.93s  18.81s
2.1.5    16.22s  18.58s
2.0.0    17.63s  17.99s

为什么禁用垃圾收集器？我读过 Ruby Performance Optimization本书认为 Ruby 很慢主要是因为程序员没有考虑内存消耗，这使得垃圾收集器使用了大量的执行时间。因此，只要系统不交换，关闭 GC 应该会立即加快速度(当然是以内存使用为代价)。

我想看看我的 XML 解析模块是否可以改进，所以我开始通过禁用 GC 进行试验，这让我遇到了这个问题。我希望在禁用 GC 的情况下有显着的加速，但我却得到了相反的结果。我知道差异并不大，但这对我来说仍然很奇怪。

libxml-ruby gem 在底层使用原生 C LibXML 实现 - 这可能是原因吗？

我使用的文件是手动乘法的books.xml示例，从一些微软文档下载:

<catalog>
 <book id="bk101">
  <author>John Doe</author>
  <title>XML for dummies</title>
  <genre>Computer</genre>
  <price>44.95</price>
  <publish_date>2000-10-01</publish_date>
  <description>Some description</description>
 </book>
 ....
</catalog>

我的设置:OS X Yosemite、Intel Core i5 2.6 GHz、16GB 内存。

感谢您的任何建议。

Answer 1

您忘记了操作系统 - 您在 MRI 进程中禁用了 GC，但您无法控制 linux/unix 内核以及它如何为 MRI 应用程序分配内存。

事实上，我相信通过禁用 GC，您已经大大限制了应用程序的行为，使您的程序很可能需要不断地从内核请求更多 RAM。这可能会涉及内核中的某种形式的开销，因为它会为您分配交换空间或内存。

您的源数据是一个 500 mb 的 xml 文件，您正在将其逐个节点读取到 MRI 程序的内存占用空间中。在完成处理时，您的 MRI 过程可能会消耗数 GB 的数据；并且在每次迭代后，主读取 block 中的值都不会被丢弃 - 它们只是在内存中徘徊，并且只有在应用程序退出并且内存被交还给操作系统时才最终被清除。

GC 已到位来管理它；它旨在防止您的应用程序从内核请求额外的内存，除非它绝对需要它，并允许您的应用程序在合理分配给它的内存内“足够好”地运行。

所以说实话，当您看到禁用 GC 后速度变慢时，我并不感到惊讶。可以说明的是您的盒子在基准测试期间的平均负载和交换使用情况。