windows - Windows 上不可预测的 CUDNN_STATUS_NOT_INITIALIZED

Question

我在 Windows 10 上的 GTX 1070 上运行 keras 神经网络训练和预测。大多数时候它工作正常，但有时它会提示

E c:\tf_jenkins\home\workspace\release-win\device\gpu\os\windows\tensorflow\stream_executor\cuda\cuda_dnn.cc:359] could not create cudnn handle: CUDNN_STATUS_NOT_INITIALIZED
E c:\tf_jenkins\home\workspace\release-win\device\gpu\os\windows\tensorflow\stream_executor\cuda\cuda_dnn.cc:366] error retrieving driver version: Unimplemented: kernel reported driver version not implemented on Windows
E c:\tf_jenkins\home\workspace\release-win\device\gpu\os\windows\tensorflow\stream_executor\cuda\cuda_dnn.cc:326] could not destroy cudnn handle: CUDNN_STATUS_BAD_PARAM
F c:\tf_jenkins\home\workspace\release-win\device\gpu\os\windows\tensorflow\core\kernels\conv_ops.cc:659] Check failed: stream->parent()->GetConvolveAlgorithms(&algorithms)

无论是字面上的错误意思还是OOM错误都无法解释。

如何解决？

Answer 1

尝试通过设置 gpu 选项 per_process_gpu_memory_fraction 来限制你的 gpu 使用。

摆弄它，看看哪些有效，哪些无效。

我建议使用 .7 作为起始基线。