python - SciPy 共轭梯度优化在每次迭代后不调用回调方法

Question

我遵循了教程 here为了使用theano实现逻辑回归。上述教程使用 SciPy 的 fmin_cg 优化程序。上述函数的重要参数包括:f 要最小化的对象/成本函数，x0 用户提供的参数初始猜测，fprime 一个函数，它提供函数 f 在 x 处的导数和 callback 一个可选的用户提供的函数，在每次迭代后调用。

训练函数定义如下:

# creates a function that computes the average cost on the training set
def train_fn(theta_value):
    classifier.theta.set_value(theta_value, borrow=True)
    train_losses = [batch_cost(i * batch_size)
                    for i in xrange(n_train_batches)]
    return numpy.mean(train_losses)

上面的代码所做的，基本上是遍历训练数据集中的所有小批量，为每个小批量计算平均批量成本(即应用于小批量中每个训练样本的成本函数的平均值)和平均值所有批处理的成本。可能值得指出的是，每个单独批处理的成本是通过 batch_cost —— 一个 theano 函数计算的。

对我来说，callback 函数似乎被任意调用，而不是像 SciPy 中的文档声称的那样在每次迭代之后调用。

这是我通过分别添加“train”和“callback”打印修改 train_fn 和 callback 后收到的输出。

... training the model
train
train
train
callback
validation error 29.989583 %
train
callback
validation error 24.437500 %
train
callback
validation error 20.760417 %
train
callback
validation error 16.937500 %
train
callback
validation error 14.270833 %
train
callback
validation error 14.156250 %
train
callback
validation error 13.177083 %
train
callback
validation error 12.270833 %
train
train
callback
validation error 11.697917 %
train
callback
validation error 11.531250 %

我的问题是，由于每次调用 train_fn 确实是一个训练时期，我该如何更改行为，以便在 之后调用 callback >train_fn?

Answer 1

train_fn 的每次调用都不一定是一个单一的训练时期。我不确定 fmin_cg 是如何实现的，但总的来说，conjugate gradient methods每个最小化步骤可能多次调用成本或梯度函数。这是(据我所知)有时需要找到相对于上一步采取的共轭向量。¹

所以每次 fmin_cg 执行 step 时都会调用您的回调。如果每次调用成本或梯度函数时都需要调用一个函数，则只需将调用放在相关函数中即可。

<支持>1. 编辑:至少当它们是非线性方法时，如fmin_cg是。维基百科页面建议普通共轭梯度 (CG) 方法可能不需要多次调用，但我认为它们不适合优化非线性函数。我见过的 CG 代码——我猜这一定是非线性 CG 代码——肯定每一步至少涉及一次线搜索。这当然需要对梯度函数进行多次评估。