algorithm - 具有 heaviside/step-function 的神经网络学习算法

Question

前馈神经网络的训练算法是否有任何实现(或直接描述)，它不使用 sigmoid 或线性挤压函数，而是使用不可微函数，例如 heaviside 函数？

我已经找到一个 paper on such an algorithm , 但没有相应的实现，这让我感到困惑，在我看来，应该有一些东西出来。

有什么提示吗？

Answer 1

反向传播不适用于 heavyside 函数，因为它的导数在所有域中都为零，除了零点，它是无限的。也就是说，heavyside 函数的导数是 Dirac delta .

这样做的结果是除零以外的任何值都没有变化，也无法取得进展。在零点，导数是无限的，所以这一步也是不可控的。

你可以在网上找到一个 implementation for this function in Java ，但我仍然认为使用它不是一个好主意。如果您增加 sigmoid 函数中的 gama 幂，它会成为 heavyside 函数的一个非常不错的近似值，并具有可微性的额外好处。

检查 this paper看看它是否有任何可能对您有帮助的信息。