numpy - 矢量化正则化梯度下降未通过数值检查

Question

我已经使用 NumPy 的向量化正则化梯度下降在 Python 中编写了一个用于逻辑回归的实现。我使用了数字检查方法来检查我的实现是否正确。数值检查验证了我对线性回归 GD 的实现，但 Logisitc 失败了，我找不到。任何帮助，将不胜感激。所以这里是:
这些是我计算成本和梯度的方法(更新函数计算梯度并更新参数):

@staticmethod
def _hypothesis(parameters, features):
    return Activation.sigmoid(features.dot(parameters))

@staticmethod
def _cost_function(parameters, features, targets):
    m = features.shape[0]
    return np.sum(-targets * (np.log(LogisticRegression._hypothesis(parameters, features)) - (1 - targets) * (
        np.log(1 - LogisticRegression._hypothesis(parameters, features))))) / m

@staticmethod
def _update_function(parameters, features, targets, extra_param):
    regularization_vector = extra_param.get("regularization_vector", 0)
    alpha = extra_param.get("alpha", 0.001)
    m = features.shape[0]

    return parameters - alpha / m * (
        features.T.dot(LogisticRegression._hypothesis(parameters, features) - targets)) + \
           (regularization_vector / m) * parameters

成本函数不包含正则化，但我做的测试是正则化向量为零，所以没关系。我如何测试:

def numerical_check(features, parameters, targets, cost_function, update_function, extra_param, delta):
gradients = - update_function(parameters, features, targets, extra_param)

parameters_minus = np.copy(parameters)
parameters_plus = np.copy(parameters)
parameters_minus[0, 0] = parameters_minus[0, 0] + delta
parameters_plus[0, 0] = parameters_plus[0, 0] - delta

approximate_gradient = - (cost_function(parameters_plus, features, targets) -
                          cost_function(parameters_minus, features, targets)) / (2 * delta) / parameters.shape[0]

return abs(gradients[0, 0] - approximate_gradient) <= delta

基本上，当我将第一个参数 delta 量向左和向右移动时，我正在手动计算梯度。然后我将它与我从更新函数中得到的梯度进行比较。我使用的初始参数等于 0，因此接收到的更新参数等于梯度除以特征数。 alpha 也等于 1。不幸的是，我从这两种方法中得到了不同的值，我不知道为什么。任何有关如何解决此问题的建议将不胜感激。

Answer 1

你的成本函数有错误。错误是由于括号分配无效。我已经解决了

def _cost_function(parameters, features, targets):
    m = features.shape[0]
    
    return -np.sum(
        (    targets) * (np.log(    LogisticRegression._hypothesis(parameters, features)))
      + (1 - targets) * (np.log(1 - LogisticRegression._hypothesis(parameters, features)))
    ) / m

尝试干净地编写代码，它有助于检测此类错误