linux - 如何增加 Torque 作业的 OpenFabrics 内存限制？

Question

当我在 InfiniBand 上运行 MPI 作业时，出现以下磨损。我们使用扭矩管理器。

--------------------------------------------------------------------------
WARNING: It appears that your OpenFabrics subsystem is configured to only
allow registering part of your physical memory.  This can cause MPI jobs to
run with erratic performance, hang, and/or crash.

This may be caused by your OpenFabrics vendor limiting the amount of
physical memory that can be registered.  You should investigate the
relevant Linux kernel module parameters that control how much physical
memory can be registered, and increase them to allow registering all
physical memory on your machine.

See this Open MPI FAQ item for more information on these Linux kernel module
parameters:

http://www.open-mpi.org/faq/?category=openfabrics#ib-locked-pages

Local host:              host1

Registerable memory:     65536 MiB

Total memory:            196598 MiB

Your MPI job will continue, but may be behave poorly and/or hang.

--------------------------------------------------------------------------

我已经阅读了警告消息上的链接，到目前为止我所做的是；

1. 在 /etc/modprobe.d/mlx4_en.conf 上附加 options mlx4_core log_num_mtt=20 log_mtts_per_seg=4。
2. 确保将以下行写入 /etc/security/limits.conf
   • * 软内存锁无限制
   • * hard memlock unlimited
3. 在 /etc/pam.d/sshd 上附加 session required pam_limits.so
4. 确保 ulimit -c unlimited 在 /etc/init.d/pbs_mom 上取消注释

谁能帮我找出我遗漏了什么？

Answer 1

您的 mlx4_core 参数仅允许注册 2^20 * 2^4 * 4 KiB = 64 GiB。每个节点有 192 GiB 的物理内存，并且建议至少有两倍的可注册内存，您应该将 log_num_mtt 设置为 23，这会将限制增加到 512 GiB - 最接近的功率两个大于或等于 RAM 量的两倍。确保重启节点或卸载然后重新加载内核模块。

您还应该提交一个执行 ulimit -l 的简单 Torque 作业脚本，以验证锁定内存的限制并确保没有这样的限制。请注意，ulimit -c unlimited 不会删除锁定内存量的限制，而是会删除核心转储文件大小的限制。