python - 如何在 CNTK 中应用自定义正则化(使用 python)？

Question

你知道如何将自定义正则化函数应用于 CNTK 吗？

特别是，我想将函数对输入的导数添加到损失中；类似的东西

newLoss = loss + lambda * gradient_F(inputs)

其中 F 是模型学习的函数，input 是模型的输入。

如何在 CNTK 中实现这一目标？我不知道如何访问输入的梯度，以及如何获取正则化器权重的梯度。

Answer 1

首先，梯度不是标量，因此优化它没有多大意义。梯度范数可能是一个有趣的东西，可以增加你的损失。为此，CNTK 必须采用梯度范数的梯度，但在撰写本文时(2017 年 7 月)尚不支持该梯度。然而，这是我们希望在未来几个月内添加的一项重要功能。

更新:一种解决方法是执行以下操作
嘈杂的输入 = x + C.random.normal_like(x, 尺度=0.01)
noisy_model = model.clone('share', {x:noisy_inputs})
辅助损失= C.squared_error(模型，noisy_model)
但您必须根据您的问题调整噪声的大小。