machine-learning - 用于回归问题的神经网络(或类似网络)

Question

神经网络背后的动机似乎是它们学习“正确”的特征来应用逻辑回归。线性回归有类似的方法吗？ (或者只是一般的回归问题？)

为所有神经元(即，包括隐藏层)删除 sigmoid 函数的应用这一显而易见的事情有意义/有效吗？ (即每个神经元都执行线性回归而不是逻辑回归)。

或者，将输出值缩放到 [0,1] 会有效吗？ (直觉上我认为不会，因为 sigmoid 函数似乎会导致网络任意偏向极值)(编辑:虽然我只是在搜索更多内容，并看到一种技术是基于均值和方差进行缩放，这似乎可以解决这个问题——所以也许这比我想象的更可行)。

或者是否有其他技术可以对回归问题进行“特征学习”？

Answer 1

看看这个 applet 。尝试学习不同的功能。当您在隐藏层和输出层指定线性激活函数时，它甚至无法学习二次函数。至少一层需要设置为sigmoid函数，见下图。

有不同类型的缩放。正如您提到的，标准缩放消除了训练样本的均值和标准差的影响，最常用于机器学习中。只需确保您在测试样本中使用与训练样本相同的平均值和标准值即可。

之所以需要缩放，是因为sigmoid函数的输出范围在(0,1)。我没有尝试，但我认为即使在输出层选择线性函数，缩放输出也会更好。否则，隐藏层的大输入(使用sigmoid)不会导致剧烈的输出(当输入在较小范围内时，sigmoid函数近似线性，超出这个范围将使输出变化很慢)。您可以根据自己的数据自行尝试。

此外，如果你有多种特征，还建议使用特征归一化，使不同的特征处于相同的尺度。当一个或多个特征的值比其他特征大得多时，缩放避免了所需的许多额外迭代，从而加速了梯度下降。

正如@Ray提到的，deep learning涉及多个级别的特征可以帮助您进行特征学习，但并不都是线性组合。