ruby - 将超过 130798 个对象插入数组时出现 SystemStackError

Question

我试图理解为什么将许多(在我的例子中是 130798 个)对象放入数组中会返回 SystemStackError。

big = Array.new(130797, 1)
[].push(*big) && false
=> false

bigger = Array.new(130798, 1)
[].push(*bigger) && false
=> SystemStackError: stack level too deep
     from (irb):104
     from /Users/julien/.rbenv/versions/2.2.0/bin/irb:11:in `<main>'

我能够在 MRI 1.9.3 和 2.2.0 上重现它，而在 Rubinius (2.5.2) 上没有出现错误。

我知道这是由于 Array 在 MRI 中的实现方式所致，但不太明白为什么会引发 SystemStackError。

Answer 1

Ruby 的错误消息(“堆栈级别太深”)在这里并不准确 - Ruby 真正说的是“我用完了堆栈内存”，这通常是由无限递归引起的，但在这种情况下，是由于您传递的参数多于 Ruby 分配给处理的内存。

Ruby 2.0+ 的最大堆栈大小由 RUBY_T​​HREAD_VM_STACK_SIZE 控制(在 2.0 之前，这是由 C 限制控制的，通过 ulimit 设置)。传递给方法的每个参数都被压入线程的堆栈；如果您将更多参数压入堆栈，超过 RUBY_T​​HREAD_VM_STACK_SIZE 容纳的空间，您将得到一个 SystemStackError。你可以从 IRB 看到这个限制:

RubyVM::DEFAULT_PARAMS[:thread_vm_stack_size]
=> 1048576

默认情况下，每个线程都有 1MB 的堆栈可以使用。 Ruby Fixnums 有 8 个字节大，在我的系统上，我在 130808 个参数处溢出，或分配了 1046464 个字节，为调用堆栈的其余部分分配了 2112 个字节。通过使用 splat 运算符 (*)，您是在说“获取这个 130798 Fixnums 列表并将其扩展为 130798 个参数以在堆栈上传递”；您只是没有分配足够的堆栈内存来容纳它们。

如果需要，可以在调用 Ruby 时增加 RUBY_T​​HREAD_VM_STACK_SIZE:

$ RUBY_THREAD_VM_STACK_SIZE=2097152 irb
> [].push(*Array.new(150808, 1)); nil
 => nil

这将增加您可以传递的参数数量。然而，这也意味着每个线程将分配两倍的堆栈，这可能是不可取的。您还应该注意，Fibers 有一个单独的堆栈分配设置，它通常要小得多，因为 Fibers 被设计成轻量级和一次性的。

您很少需要在堆栈上传递那么多数据；通常，如果您需要将大量数据传递给方法，您会传递一个对象作为参数(即在堆栈上，例如 Hash 或 Array)，其存储分配在堆上，因此您的堆栈即使您的堆使用量以兆字节为单位，使用量也以字节为单位。也就是说，您会将非常大的数组传递给您的方法(它可以毫无问题地在堆上保存数 GB 的数据)，然后您将在您的方法中迭代该数组。