machine-learning - 需要帮助设置神经网络参数(学习率、动量、隐藏层大小......)

Question

我有一个标准的前馈反向传播神经网络，我想训练它来识别蓝色的球。我有 30 张图像，其中 20 张是球的，10 张是没有球的，我的第一个问题是这是否足够，我假设拥有更多比更少更好，但很高兴知道是否有最少的种类。每个图像的宽度为 96 像素，高度为 128 像素，因此 RGB 总共有 12,288 个像素乘以 3，这在我的输入层中提供了 36,864 个感知器。因为我只需要知道图像是否包含蓝色球或者我没有 1 个输出感知器。网络中的所有感知器都使用逻辑激活函数。在我的隐藏层中，我尝试了一大堆不同数量的隐藏单元，范围从 100-3000 个，但它们似乎都不起作用，网络要么说 MSE 低到足以在 1 次迭代后停止，要么网络永远不会达到所需的 MSE 并由于训练迭代限制而停止，并且无论输入是什么，输出始终是相同的值。我尝试过一系列低于 0.1 的学习率和动量，但动量总是小于学习率，我现在的目标 MSE 是 0.0005。我之前使用神经网络进行过对象检测，但我没有使用输入层，而是使用了一个包含 12,288 个感知器(每个像素一个)的隐藏层，每个感知器有 24 个输入(每种颜色 8 位 3*8 = 24 位) )从图像接收二进制颜色信息，然后我有一个输出感知器，所有感知器都使用逻辑激活函数并且它起作用了。我想尝试使用输入层，但到目前为止我唯一能学到的是异或问题。

所以我的问题是:

对于我的问题来说，最佳的网络拓扑是什么？ (多少层，隐藏单元...)

我应该使用一定范围的学习率和动量值吗？

30 个训练样本够吗？

<小时/>

顺便说一句，以防万一，在创建神经网络时，权重会使用 -0.3 - 0.3 范围内的值进行初始化

Answer 1

总的来说，我认为神经网络的一个大问题是你事先没有得到很好的保证，并且在结构上有很大的自由度。选择正确的参数需要进行大量的实验和迭代。

我认为没有人可以提前告诉你什么肯定有效。