machine-learning - Keras NoteBook GPU 超时

Question

我正在尝试在 Windows 10 计算机上使用 Tensorflow 运行 keras，并在 Jupyter 笔记本上使用 GTX 980 GPU。如果我用我的 GPU 单独运行 TensorFlow，它工作得很好，没有任何问题。但是 keras 接口(interface)在处理大量 epoch 时会出现问题。

keras 模型使用 GPU 并在我的纪元数较低时给出输出，如下所示

with tf.device('/gpu:0'):
    model.compile('adam', 'categorical_crossentropy', ['accuracy'])
    history = model.fit(X_normalized,y_one_hot,batch_size=128,nb_epoch=2,validation_split=0.2)

以下是输出

Train on 31367 samples, validate on 7842 samples Epoch 1/2 31367/31367 [==============================] - 3s - loss: 1.7640 - acc: 0.5438 - val_loss: 1.2872 - val_acc: 0.6486 - ETA: 0s - loss: 1.8827 - acc: 0.5145 - ETA: 0s - loss: 1.7732 - acc: 0.5416

Epoch 2/2 31367/31367 [==============================] - 2s - loss: 0.8539 - acc: 0.7765 - val_loss: 0.7958 - val_acc: 0.7615

如果纪元数很高，则会超时并出现以下错误，并且网页显示繁忙

WebSocket ping timeout after 119999 ms.

如何修复此错误？

Answer 1

我猜这个问题与 Windows 上的 TDR(超时检测和恢复)有关。基本上，操作系统认为GPU挂起并且不再响应，因此操作系统将重新启动显卡。您可以尝试禁用TDR或延长TdRDelay的上限。更多详情可查看https://learn.microsoft.com/en-us/windows-hardware/drivers/display/tdr-registry-keys .