matlab - 神经网络的学习曲线

Question

我试图找到在 Octave 上实现的神经网络模型的最佳参数，该模型用于二元分类和 122 个特征(输入)和 25 个隐藏单元(1 个隐藏层)。为此，我有 4 个矩阵/向量:

size(X_Train): 125973 x 122
size(Y_Train): 125973 x 1
size(X_Test): 22543 x 122
size(Y_test): 22543 x 1

我使用了 20% 的训练集来生成验证集(XVal 和 YVal)

size(X): 100778 x 122
size(Y): 100778 x 1
size(XVal): 25195 x 122
size(YVal): 25195 x 1
size(X_Test): 22543 x 122
size(Y_test): 22543 x 1

目标是生成神经网络的学习曲线。我已经了解到(艰难的方式 xD)这是非常耗时的，因为我为此使用了 Xval 和 X 的完整大小。

不知道是否有其他解决方案。我正在考虑减小训练向量 X 的大小(例如 5000 个样本)，但我不知道是否可以做到这一点，或者结果是否会有偏差，因为我会只使用训练集的一部分？

最好的，

Answer 1

上面的参数总数约为 3k (122*25 + 25*1)，对于一个例子来说并不是很大。由于示例数量很大，您可能需要使用随机梯度下降或小批量而不是梯度下降。

请注意，Matlab 和 Octave 通常很慢，特别是在循环方面。您需要编写使用矩阵运算而不是循环的代码，以便在 Matlab/Octave 中控制速度。