python - 梯度下降算法需要很长时间才能完成 - 效率 - Python

Question

我正在尝试使用 python 实现梯度下降算法，下面是我的代码，

def grad_des(xvalues, yvalues, R=0.01, epsilon = 0.0001, MaxIterations=1000):
    xvalues= np.array(xvalues)
    yvalues = np.array(yvalues)
    length = len(xvalues)
    alpha = 1
    beta = 1
    converged = False
    i=0
    cost = sum([(alpha + beta*xvalues[i] - yvalues[i])**2 for i in range(length)]) / (2 * length)
    start_time = time.time()
    while not converged:      
        alpha_deriv = sum([(alpha + beta*xvalues[i] - yvalues[i]) for i in range(length)]) / (length)
        beta_deriv =  sum([(alpha + beta*xvalues[i] - yvalues[i])*xvalues[i] for i in range(length)]) / (length)
        alpha = alpha - R * alpha_deriv
        beta = beta - R * beta_deriv
        new_cost = sum( [ (alpha + beta*xvalues[i] - yvalues[i])**2 for i in range(length)] )  / (2*length)
        if abs(cost - new_cost) <= epsilon:
            print 'Converged'
            print 'Number of Iterations:', i
            converged = True
        cost = new_cost
        i = i + 1      
        if i == MaxIterations:
            print 'Maximum Iterations Exceeded'
            converged = True
    print "Time taken: " + str(round(time.time() - start_time,2)) + " seconds"
    return alpha, beta

这段代码运行良好。但问题是，大约 600 次迭代需要超过 25 秒的时间。我觉得这不够有效，我尝试在进行计算之前将其转换为数组。这确实将时间从 300 秒减少到 25 秒。我仍然觉得它可以减少。谁能帮我改进这个算法？

谢谢

Answer 1

正如我评论的那样，我无法重现缓慢的过程，但是这里有一些潜在的问题:

1. 看起来 length 没有改变，但是您在重复调用 range(length)。在 Python 2.x 中，range 创建一个列表，重复执行此操作会减慢速度(对象创建并不便宜。)使用 xrange(或导入 Py3 兼容的six 或 future 的迭代器 range)并预先创建一次范围，而不是每次都创建。

2. i 在这里以可能导致问题的方式被重用。您正在尝试将其用作整体迭代计数，但是您使用 i 的每个列表理解都会覆盖函数范围内的 i ，这意味着“迭代”计数将始终以 length - 1 结束。