gpt4 book ai didi

python - 在同一个 GPU 上运行多个 tensorflow 进程不安全吗?

转载 作者:太空狗 更新时间:2023-10-29 21:54:11 31 4
gpt4 key购买 nike

我只有一个 GPU(Titan X Pascal,12 GB VRAM),我想在同一个 GPU 上并行训练多个模型。

我尝试将我的模型封装在一个 python 程序(称为 model.py)中,并在 model.py 中包含代码以限制 VRAM 使用(基于 this example)。我能够在我的 GPU 上同时运行多达 3 个 model.py 实例(每个实例占用的 VRAM 略低于 33%)。奇怪的是,当我尝试使用 4 个模型时,我收到了一个错误:

2017-09-10 13:27:43.714908: E tensorflow/stream_executor/cuda/cuda_dnn.cc:371] coul
d not create cudnn handle: CUDNN_STATUS_INTERNAL_ERROR
2017-09-10 13:27:43.714973: E tensorflow/stream_executor/cuda/cuda_dnn.cc:338] coul
d not destroy cudnn handle: CUDNN_STATUS_BAD_PARAM
2017-09-10 13:27:43.714988: F tensorflow/core/kernels/conv_ops.cc:672] Check failed
: stream->parent()->GetConvolveAlgorithms( conv_parameters.ShouldIncludeWinogradNon
fusedAlgo<T>(), &algorithms)
Aborted (core dumped)

我后来观察到on the tensorflow Github人们似乎认为每个 GPU 运行多个 tensorflow 进程是不安全的。这是真的吗,是否有解释为什么会这样?为什么我能够在同一个 GPU 上运行 3 个 tensorflow 进程而不是 4 个?

最佳答案

简而言之:是的,在同一个 GPU 上运行多个进程是安全的(截至 2017 年 5 月)。以前这样做是不安全的。

Link to tensorflow source code that confirms this

关于python - 在同一个 GPU 上运行多个 tensorflow 进程不安全吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/46145100/

31 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com