machine-learning - 补丁/内核的大小如何影响卷积网络的结果？

Question

我正在家里用 tensorflow 玩卷积神经网络(顺便说一句，我已经完成了 udacity 深度学习类(class)，所以我有理论基础)。 运行卷积时，patch 的大小会产生什么影响？当图像变大/变小时，这样的尺寸是否必须改变？

我所做的练习之一涉及图像的 CIFAR-10 数据库(32x32 像素)，然后我使用 3x3 的卷积(填充为 1)，获得了不错的结果。

但是现在我想玩比这更大的图像(比如 100x100)，我应该让我的补丁更大吗？我要把它们保留为 3x3 吗？此外，将补丁做得很大会产生什么影响？ (比如 50x50)。

通常我会直接在家测试这个，但是在我的计算机上运行它有点慢(没有 nvidia GPU!)

所以问题应该总结为

1. 当我的输入图像变大/变小时，我是否应该增加/减少补丁的大小？
2. 增加/减少路径大小会产生什么影响(就性能/过度拟合而言)？

Answer 1

如果不使用padding，较大的内核会使下一层的神经元数量会较少。

示例:大小为 1x1 的内核为下一层提供相同数量的神经元；大小为 NxN 的内核仅给出下一层中的一个神经元。

较大内核的影响:

• 计算时间更快，内存占用更小
• 丢失很多细节。想象 NxN 输入神经元，内核大小也是 NxN，那么下一层只给你一个神经元。丢失大量细节可能会导致拟合不足。

答案:

1. 这取决于图像，如果您需要图像的大量细节，则无需增加内核大小。如果您的图像是 1000x1000 像素大版本的 MNIST 图像，我会增加内核大小。
2. 较小的内核会给你带来很多细节，它可能会导致你过度拟合，但较大的内核会给你带来很多细节，它可能会导致你欠拟合。您应该调整模型以找到最佳尺寸。有时，应考虑时间和机器规范

如果您使用填充，您可以进行调整，以便卷积后的结果神经元将相同。我不能说这会比不使用填充更好，但与使用较小的内核相比，仍然会丢失更多细节