machine-learning - 在神经网络中，为什么偏差被视为 "b"参数或附加 "wx"神经元？

Question

换句话来说，将神经元求和公式中sigmoid之前的偏置切换为b_j或者附加w_ij*x_i的主要原因是什么？表现？ 哪种方法最好，为什么？

注意:j是实际层的神经元，i是下层的神经元。

Answer 1

注意:在这里询问最佳方法没有什么意义。这是完全相同的事物的两种不同的数学符号。

但是，将偏差拟合为另一个权重允许您将总和重写为观察到的特征向量 x_d 与权重向量 w 的标量积。

您是否尝试过计算 w.r.t w 的导数，以便根据最小二乘法获得最佳 w ？您会注意到，这种计算在矢量化表示法中变得更加清晰。

除此之外:在许多高级编程语言中，矢量化计算比非矢量化计算效率更高。因此，性能也很重要，至少在某些语言中是这样。