python - 在特定 NUMA 节点上固定和分配 tensorflow

Question

我的系统有两个 NUMA 节点和两个连接到 NUMA 节点 1 (XEON E5) 的 GTX 1080 Ti。

神经网络模型使用 Keras 的 multi_gpu_model 通过单机多 GPU 数据并行进行训练。

如何指示 TF 仅在 NUMA 节点 1 上分配内存并执行 TF 工作线程(合并权重)？出于性能原因，我想阻止通过 QPI 访问内存。

tf.device():

1) tf.device('/cpu:0') 是指物理 CPU 还是物理核心，还是只是一个在所有物理核心之间移动的“逻辑设备”(线程|池？)在线吗？

2) 如何影响 TF 调度程序将逻辑设备映射到一组物理核心？

3) 对于 NUMA 系统上的内存分配 - TF 是否支持在特定节点上分配内存？或者我必须退回到 set_mempolicy()/numactl (LINUX)？

Answer 1

不，回答...

我正在使用 numactl --cpunodebind=1 --membind=1 - 将执行和内存分配绑定(bind)到 NUMA 节点 1。