jupyter-notebook - jupyter 笔记本中的内存限制

Question

如何为 jupyter notebook 进程设置最大内存限制？

如果我使用太多 RAM，计算机会被阻塞，我必须按电源按钮手动重新启动计算机。

有没有办法在超过用户设置的内存限制或引发内存错误时自动终止 jupyter notebook 进程？谢谢

Answer 1

在 Linux 下，您可以使用“cgroups”来限制您计算机上运行的任何软件的资源。

安装 cgroup-tools与 apt-get install cgroup-tools
编辑其配置 /etc/cgconfig.conf为特定类型的工作(例如数值科学计算)制作简介:

group app/numwork {
  memory {
    memory.limit_in_bytes = 500000000;
  }
}

通过在 /etc/cgrules.conf 中列出它们，将该配置应用于您关心的进程名称。 (就我而言，它是所有 julia 可执行文件，我通过 jupyter 运行，但您也可以将其用于任何其他软件):

*:julia  memory  app/numwork/

最后，使用以下命令解析配置并将其设置为当前事件配置:

~# cgconfigparser -l /etc/cgconfig.conf
~# cgrulesengd

我用它来限制在我全类学生使用的服务器上运行的进程。

此页面有更多详细信息和其他使用方式 cgroups https://wiki.archlinux.org/index.php/cgroups