python - 机器学习: How to regularize output and force them to be away from 0?

Question

我正在 Tensorflow 中训练深度 CNN 模型，并尝试最大化真实标签和预测之间的 PIL 逊相关性。例如，对于真实标签 y_true = [1.0, 2.0, 3.0, 4.0]，我想预测类似 y_pred = [0.9, 1.8, 3.0, 4.1] >，因为这给出了高 PIL 逊相关性。

但是，我的预测都非常接近 0，例如 y_pred = [0.0001,0.0002, 0.0003, 0.0004]。虽然在这种情况下 PIL 逊相关性很高，但在计算 PIL 逊损失时模型在数值上不稳定(例如抛出 NaN 错误)。

因此，我想知道如何强制输出具有更大的值，使其不接近于 0？也许输出上的某种正则化器可以放大它？

Answer 1

也许您可以尝试将问题建模为回归问题。将您的损失定义为

(true_labels - predictions)^2

由于您将明确最小化标签和预测之间的平方差，因此它们也将高度相关。您可以保留 PIL 逊相关性的原始损失，并将其添加为正则化器，以使预测也接近真实标签。类似于:

pearson_Loss + lambda * (true_labels - predictions)^2

您可以通过网格搜索或随机搜索的交叉验证来微调“lambda”，找到正则化器的最佳强度。