python - 缓冲数据在达到输出大小限制后被截断

Question

当我使用 Colaboratory 运行我的 NIN 模型时，训练过程的输出中出现错误，提示“缓冲数据在达到输出大小限制后被截断。”在第61纪元。我不知道这次崩溃。我的代码还在运行吗？我该如何解决这个问题？

以下是关于我的训练过程输出的一些信息:

Epoch 57/200
391/391 [==============================] - 53s 135ms/step - loss: 0.8365 - acc: 0.7784 - val_loss: 0.9250 - val_acc: 0.7625
Epoch 58/200
 28/391 [=>............................] - ETA: 46s - loss: 0.8356 - acc: 0.7835391/391 [==============================] - 53s 136ms/step - loss: 0.8288 - acc: 0.7811 - val_loss: 0.8977 - val_acc: 0.7608
Epoch 59/200
326/391 [========================>.....] - ETA: 8s - loss: 0.8309 - acc: 0.7789391/391 [==============================] - 53s 136ms/step - loss: 0.8297 - acc: 0.7798 - val_loss: 0.9030 - val_acc: 0.7628
Epoch 60/200
391/391 [==============================] - 53s 134ms/step - loss: 0.8245 - acc: 0.7825 - val_loss: 0.8378 - val_acc: 0.7767
Epoch 61/200
 28/391 [=>............................] - ETA: 46s - loss: 0.8281 - acc: 0.7879390/391 [============================>.] - ETA: 0s - loss: 0.8177 - acc: 0.7851Buffered data was truncated after reaching the output size limit.

Answer 1

即使内存 |显卡 | colab 上的 DISK 是免费的，这个错误仍然存​​在，因为在 colab 上显示单元格输出的内存有限。假设内存限制在 2Mb 到 5Mb 左右，当我们在训练期间运行许多 epochs(148+)时，它往往会填满该内存，因此输出被截断，因为没有更多的内存可用于显示缓冲的 epochs。但是，机器在后台继续运行并且处理了输出但由于缓冲限制而没有显示。你仍然会得到你想要的输出。

一种解决方案是不使用 verbose=1(改为使用 0)。