machine-learning - 如何优化神经网络中的动量项

Question

|我在 torch7 中有一个神经网络，想检查神经网络的动量是如何发展的，这是因为我想修改/减少它，因为我想对这些值进行一些额外的处理并且需要速度术语才能做到这一点。所以我有类似以下代码:

for t = 1, params.num_iterations do
  local x, losses = optim.adam(feval, img, optim_state)
        img=postProccess(img,content_imageprep,params)
        print(velocity) -- how?
end

并且想看看速度在做什么。有人知道该怎么做吗？

打印 optim_state 给出以下输出

  v : CudaTensor - size: 1327104
  m : CudaTensor - size: 1327104
  learningRate : 10
  denom : CudaTensor - size: 1327104
  t : 4

但我现在确定是否以及如果是的话什么术语代表速度，有人知道吗？

Answer 1

您不会在 state 参数中找到动量值，而是在 config 参数中找到(该参数在您的函数调用中不存在，那么动量值将等于其默认值，即 beta1 为 0.9，beta2 为 0.999。

看一下源代码https://github.com/torch/optim/blob/master/adam.lua#L24