onnxruntime 不使用 CUDA

Question

环境:

• 中央操作系统 7
• python 3.9.5
• CUDA:11.4
• cudnn: 8.2.4
• onnxruntime-gpu: 1.9.0
• nvidia 驱动程序:470.82.01
• 1 个特斯拉 v100 GPU

虽然 onnxruntime 似乎可以识别 gpu，但在创建 inferencesession 时，它似乎不再识别 gpu。以下代码显示了此症状。

import  onnxruntime as ort


print(f"onnxruntime device: {ort.get_device()}") # output: GPU

print(f'ort avail providers: {ort.get_available_providers()}') # output: ['CUDAExecutionProvider', 'CPUExecutionProvider']

ort_session = ort.InferenceSession(onnx_file, providers=["CUDAExecutionProvider"])

print(ort_session.get_providers()) # output: ['CPUExecutionProvider']

我不知道什么会导致推理 session 无法检测和使用 CUDA gpu。

删除onnxruntime和onnx包后，我尝试重新安装onnxruntime-gpu，但问题仍然存在。

关于在哪里查看有什么建议吗？

Answer 1

添加适当的 PATH 后，LD_LIBRARY_PATH 代码工作。我想我忘记添加它们是因为我已经习惯了长时间使用 pytorch 时不关心它们。

我做了什么:

export PATH=/usr/local/cuda-11.4/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda-11.4/lib64:$LD_LIBRARY_PATH

在此之后，问题中的代码起作用了，最后一行给出了我想要的输出。

print(ort_session.get_providers()) # output: ['CUDAExecutionProvider', 'CPUExecutionProvider']

我可以看到 gpu 内存在 nvidia-smi

中被消耗