chapel - 如何配置 Chapel/GASNet 以使用分区 key 在 MXM Infiniband 网络上运行多语言环境代码？

Question

我正在尝试在具有 MXM Infiniband 网络(40 Gbps，型号:Mellanox Technologies MT26428)的集群上运行多语言环境教堂代码。

我遵循了 Chapel 和 GASNet 文档，并设置了
export CHPL_COMM_SUBSTRATE=ibvexport CHPL_LAUNCHER=gasnetrun_ibvexport GASNET_IBV_SPAWNER=mpi
而不是使用 CHPL_COMM_SUBSTRATE=mxm , 一旦 mxm 被弃用。

问题是我可以使用 ibv 基板构建 Chapel。但是，我不能在多个语言环境中运行。我收到大量超时错误。

首先，我认为问题出在 PKEY 上。所以，我加了"--mca btl_openib_pkey "0x8100""到MPIRUN_CMD .但是，没有成功。

我还尝试使用已弃用的 mxm 配置:
CHPL_LAUNCHER=gasnetrun_mxmexport CHPL_LAUNCHER=gasnetrun_ibvexport GASNET_MXM_SPAWNER=mpi
但是，我无法使用这样的配置构建 Chapel。那是错误信息:
"User requested --enable-mxm, but I don't know how to build mxm programs for your system."
顺便说一句，在没有分区 key 的情况下，在 MPI、UDP 和 Infiniband 之上使用 GASNET 效果很好。

有人知道如何在配备 MXM Infiniband 网络和分区 key (PKEY) 的集群上使用 Chapel？

最好的祝福，

蒂亚戈·卡内罗。

Answer 1

蒂亚戈，

作为 GASNet 的 ibv-conduit(对 libibverbs 的支持)的作者和维护者，我可以告诉你，我们从未支持过非默认 PKey。留言*** FATAL ERROR: failed to connect (snd) status=12与使用错误的 PKey 一致。

根据您在此处提出的问题，我已尝试为用户指定的 PKey 提供支持。你可以在 Bitbucket 的 GASNet git 存储库中找到我的原型(prototype)作为拉取请求:https://bitbucket.org/berkeleylab/gasnet/pull-requests/248 (或 https://bitbucket.org/PHHargrove/gasnet-public/commits/ibv-pkey/raw 只获取原始补丁)。您应该能够在 third-party/gasnet/gasnet-src 中应用该 PR 中的一个提交。教堂源目录。我没有要测试的分区 IB 网络。因此，如果您可以验证这可以解决您的问题，您将帮助我。

关于User requested --enable-mxm, but I don't know how to build mxm programs for your system ，我怀疑 GASNet 的配置探针无法找到必要的头文件或库。失败的详细信息应在 config.log 中文件位于 third-party/gasnet/build .如果您的 mxm 头文件和库安装在 /opt/mellanox/mxm 以外的位置然后可以设置环境变量MXM_HOME在构建 Chapel 时，通知 GASNet 的配置脚本实际位置。但是，我不知道 libmxm 中有任何 PKey 支持。所以，这可能是一个死胡同。

-保罗