python - 如何在 scipy.optimize 中使用 fmin_cg 获得正确的尺寸

Question

我一直在尝试使用 fmin_cg 来最小化逻辑回归的成本函数。

xopt = fmin_cg(costFn, fprime=grad, x0= initial_theta, 
                                 args = (X, y, m), maxiter = 400, disp = True, full_output = True )

这就是我调用 fmin_cg 的方式

这是我的 CostFn:

def costFn(theta, X, y, m):
    h = sigmoid(X.dot(theta))
    J = 0
    J = 1 / m * np.sum((-(y * np.log(h))) - ((1-y) * np.log(1-h)))
    return J.flatten()

这是我的毕业生:

def grad(theta, X, y, m):
    h = sigmoid(X.dot(theta))
    J = 1 / m * np.sum((-(y * np.log(h))) - ((1-y) * np.log(1-h)))
    gg = 1 / m * (X.T.dot(h-y))
    return gg.flatten()

它似乎抛出了这个错误:

/Users/sugethakch/miniconda2/lib/python2.7/site-packages/scipy/optimize/linesearch.pyc in phi(s)
     85     def phi(s):
     86         fc[0] += 1
---> 87         return f(xk + s*pk, *args)
     88 
     89     def derphi(s):

ValueError: operands could not be broadcast together with shapes (3,) (300,) 

我知道这与我的身材有关。但我似乎无法弄清楚。我是菜鸟，所以我可能会犯一个明显的错误。

我已阅读此链接:

fmin_cg: Desired error not necessarily achieved due to precision loss

但是，它似乎对我不起作用。

有什么帮助吗？

<小时/>

更新了 X、y、m、theta 的尺寸

(100, 3) ----> X

(100, 1) -----> y

100 ----> 米

(3, 1) ----> θ

<小时/>

这就是我初始化 X,y,m 的方式:

data = pd.read_csv('ex2data1.txt', sep=",", header=None)                        
data.columns = ['x1', 'x2', 'y']                                                       
x1 = data.iloc[:, 0].values[:, None]                                                     
x2 = data.iloc[:, 1].values[:, None]                                                    
y = data.iloc[:, 2].values[:, None]
# join x1 and x2 to make one array of X
X = np.concatenate((x1, x2), axis=1)
m, n = X.shape

ex2data1.txt:

34.62365962451697,78.0246928153624,0
30.28671076822607,43.89499752400101,0
35.84740876993872,72.90219802708364,0
.....

如果有帮助的话，我正在尝试用 Python 重新编写 Andrew Ng 的 Coursera ML 类(class)的作业作业之一

Answer 1

最后，我弄清楚了我最初的程序中的问题所在。

我的 'y' 是 (100, 1)，fmin_cg 期望的是 (100, )。一旦我压平我的“y”，它就不再抛出最初的错误。但是，优化仍然不起作用。

 Warning: Desired error not necessarily achieved due to precision loss.
     Current function value: 0.693147
     Iterations: 0
     Function evaluations: 43
     Gradient evaluations: 41

这与我在没有优化的情况下实现的效果相同。

我发现优化这个的方法是使用“Nelder-Mead”方法。我遵循了这个答案:scipy is not optimizing and returns "Desired error not necessarily achieved due to precision loss"

Result = op.minimize(fun = costFn, 
                x0 = initial_theta, 
                args = (X, y, m),
                method = 'Nelder-Mead',
                options={'disp': True})#,
                #jac = grad)

此方法不需要“雅可比”。我得到了我正在寻找的结果，

Optimization terminated successfully.
     Current function value: 0.203498
     Iterations: 157
     Function evaluations: 287