python - 具有多个输入的网络的超参数优化？

Question

有什么有效的方法可以优化这个神经网络..

map = {}
for batch in xrange(1,100,1):
    for lr in np.arange(0.00001,1,0.0000001):
        for decay in np.arange(0.0000001,1,0.0000001):
            for momentum in np.arange(0.001,1,0.01):
                print 'batch_' + str(batch) + '_lr_' + str(lr) + '_decay_' + str(decay) + '_momentum_' + str(momentum)
                result = model(batch,lr,decay,momentum)
                print result
                map['batch_' + str(batch) + '_lr_' + str(lr) + '_decay_' + str(decay) + '_momentum_' + str(momentum)] = result

np.save('sgd_opt.npy', map)

目前正在使用多个 for 循环来完成 - 没有其他有效的方法吗？

Answer 1

测试更少的组合。使用np.logspace而不是np.arange。

for lr in np.logspace(1E-5, 1, 6):  # Tests 1E-5, 1E-4, ..., 1

例如，0.00012 和 0.00013 之间的学习率可能没有太大差异。您不需要测试所有这些。

如果您想测试 6 个以上的学习率，请继续。这会给你带来很好的传播，你也应该为你的衰减和动量做同样的事情。您可以测试 6 种学习率、6 种衰减和 3 种动量(总共 108 种组合)，并可能获得与原始代码使用的数百万步相同的好处。