ruby - 使用 Sidekiq 运行的后台作业在 Heroku 上超出 R14 内存配额

Question

我们正在运行利用 neography 进行批处理操作的 sidekiq worker。

我们的批处理数组在刷新前最多可容纳 400 个操作(我们也尝试过更低的数量)。

我们在 heroku 上遇到了 R14 内存错误，事情几乎停止了，所以我们怀疑某种内存泄漏(我已经检查过膨胀)。但是，我们一直无法弄清楚它在哪里或如何预防它。

我们已尝试将所有调试内存 gem 用作 ruby​​-prof，[...] 没有任何结果或线索，通过 ObjectSpace 读取对象计数甚至尝试逐行调试并在没有后台作业的情况下启动进程，而只是通过 rails c 和以下命令来监视内存使用情况 top -pid `ps auw | grep -i 'rails c' |头-n 1 | awk '{print $2}'` -stats RSIZE。

我尝试将我们的 ruby​​ 版本更新到最新版本 (2.1.0)，但没有任何变化。

欢迎任何想法来帮助我们让我们的员工更快乐!

Answer 1

Neo4j 内部使用大量缓存，这可能会消耗大量内存。您可以尝试通过设置 cache_type=none 来关闭 Neo4j 的对象缓存，参见 http://docs.neo4j.org/chunked/stable/configuration-caches.html .