machine-learning - 神经网络前向传播中的点积

Question

在神经网络前向传播中，计算权重和输入之间的点积时，哪个先出现？方法 1) 还是方法 2)？

1) Weight.dot(输入) + 偏差

2) 输入.dot(权重) + 偏差

这两种方法我都见过。我很困惑。

Answer 1

两者之间的区别在于点积中权重和输入之间的顺序。 commutative然而，点积运算的性质表明顺序并不重要；不管怎样，结果都是一样的。

话虽这么说，Weight.dot(Input) + Bias 是我最熟悉的。

从数学的角度来看，您可能会考虑使用 Weight.dot(Input) 方法，因为权重被视为系数，因此首先出现最符合逻辑。

从程序化的角度来看，这在很大程度上取决于实现；可能首选在输入对象上调用 dot() 方法，而不是调用 Weight。

请注意 dot product与 matrix multiplication 不同。正如您所指出的，矩阵乘法不一定是可交换的。我主要使用的库 Tensorflow 使用 tf.matmul() 实现矩阵乘法。在神经网络的实现中，假设权重始终用作第二个参数，这表明在这种情况下第二种方法是首选。