tensorflow - 在对 Cityscapes 语义分割数据集进行 deeplab v3+ 训练时遇到错误

Question

全部，

我在这个 guide 之后使用 deeplab v3+ 开始训练过程.然而，在第 1480 步之后，我得到了错误:

Error reported to Coordinator: Nan in summary histogram for: image_pooling/BatchNorm/moving_variance_2

详细的列车日志是here

有人可以建议如何解决这个问题吗？谢谢!

Answer 1

根据日志，您似乎正在使用 batch_size = 1、fine_tune_batch_norm = True(默认值)进行训练。由于您在训练期间微调了批规范，因此最好将批大小设置得尽可能大(参见 train.py 中的 comments 和 FAQ 中的 Q5)。如果只有有限的 GPU 内存可用，您可以从提供的预训练检查点进行微调，设置 smaller learning rate 和 fine_tune_batch_norm = False(详见 model_zoo.md )。请注意确保标志 tf_initial_checkpoint 具有到所需预训练检查点的正确路径。