c++ - 如何使用 nvlink GPU 创建 Tensorflow session

Question

我正在尝试使用 Tensorflow 进行推理。我有 2 个 Quadro GV100 通过 nvlink 和另一个 GPU 连接，用于在我的桌面上显示。

当我创建 SessionOptions 对象时，我需要调用以下代码来设置要使用的 GPU:

auto options = SessionOptions();
options.config.mutable_gpu_options()->set_visible_device_list(gpuToUse);

Tensorflow 似乎没有将 nvlink 的 GPU 视为一个，如果我通过仅指定 1 个 gpu 创建 session ，这似乎否定了 nvlink 和第二个 GPU 的好处。

我的问题是，Tensorflow 是否能够利用 nvlink 双 GPU 设置？

我正在使用 Tensorflow v1.7。非常感谢您的帮助!

Answer 1

简短的回答是肯定的，Tensorflow 能够利用 NVLINK 技术。但是，如前所述here ，大多数算法从这项技术中获益甚微。

在某些用例中，NVLINK 桥可能会产生显着的影响。例如，在一些机器学习应用程序中，假设 GPU 代码经过优化以最小化通信，可以通过跨设备的数据分布获得并行性。