machine-learning - 微调VGG最后一层非常慢

Question

我正在使用tensorflow在32 cpu机器上微调VGG16网络。我使用了稀疏的交叉熵损失。我必须将布料图像分为 50 个类别。经过两周的训练，损失是这样下降的，我觉得收敛速度非常慢。我的批量大小是 50。这是正常的还是您认为这里出了什么问题？准确率也确实很差。现在它因错误的内存分配错误而崩溃。抛出'std::bad_alloc'实例后终止调用what(): std::bad_allo

我在日志文件中的最后一行看起来像这样 -

2016-12-13 08:56:57.162186:步骤 31525，损失 = 232179.64(1463843.280 秒/批处理)

我还尝试了 Tesla K80 GPU，经过 20 小时的训练后，损失如下所示。所有参数都相同。令人担忧的是 - 使用 GPU 并没有提高迭代率，这意味着无论是在具有 50 个线程的 32 个 cpu 中还是在 Tesla K80 中，每个步骤都花费相同的时间。

我确实需要一些实用的建议。

Answer 1

另一个更好的选择是不使用 VGG16。如果你看Figure 5 in this paper ，您会注意到 VGG16 在精度与 FLOP(每秒浮点运算)方面表现非常差。如果您需要速度，Mobilenet 或缩小尺寸的 ResNet 会做得更好。即使 inception-v2 的准确度也会优于 VGG，而计算成本却低得多。

这将大大减少您的训练时间和内存使用。