tensorflow - GPU -> CPU Memcpy 在 tensorflow word2vec 中失败 gpu 发生

Question

我正在学习 tensorflow 的 word2vec。
我们买了两个 1080i 用于 GPU 的并行处理。
挂载成功，p2p成功。
但是，我尝试使用带有 tf.device ('/gpu: 0') 的命令将其分配给 gpu
出现以下错误:

I tensorflow/core/common_runtime/gpu/gpu_device.cc:885] 找到具有属性的设备 1:

名称:GeForce GTX 1080 Ti

主要:6 次要:1 memoryClockRate (GHz) 1.645

pciBusID 0000:66:00.0

总内存:10.91GiB

可用内存:10.21GiB

tensorflow /核心/common_runtime/gpu/gpu_device.cc:906] DMA:0 1

tensorflow /核心/common_runtime/gpu/gpu_device.cc:916] 0: Y Y

tensorflow /核心/common_runtime/gpu/gpu_device.cc:916] 1: Y Y

I tensorflow/core/common_runtime/gpu/gpu_device.cc:975] 创建 TensorFlow 设备 (/gpu:0) ->(设备:0，名称:GeForce GTX 1080 Ti，pci 总线 ID:0000:65:00.0)

I tensorflow/core/common_runtime/gpu/gpu_device.cc:975] 创建 TensorFlow 设备 (/gpu:1) ->(设备:1，名称:GeForce GTX 1080 Ti，pci 总线 ID:0000:66:00.0)

i word2vec_kernels.cc:246] 数据文件:data/spouse_freebase/input2.nt 包含34966827个字节，2620786个单词，11769个唯一词，11769个唯一频繁词。

E tensorflow/stream_executor/cuda/cuda_driver.cc:1276] 无法将异步 memcpy 从设备入队到主机:CUDA_ERROR_INVALID_VALUE；主机 dst:0x104d5000000； GPU 源代码:0x7f12c800cbc0；尺寸:8=0x8

我 tensorflow/stream_executor/stream.cc:1338] 流 0x39c2160 没有等待流:0x39bf9a0

我 tensorflow/stream_executor/stream.cc:3775] 流 0x39c2160 没有 memcpy 设备到主机；来源:0x3bd0d00

F tensorflow/core/common_runtime/gpu/gpu_util.cc:296] GPU->CPU Memcpy 失败

我认为这个错误是 gpu 内存不足。
我等着你的帮助。
谢谢你。

Answer 1

我遇到过同样的问题。我刚刚在 Nvidia 设置中关闭了 G-SYNC 支持，它有所帮助。