matlab - 在对同一数据集进行训练后，您对两个完全相同的神经网络有何评价？

Question

假设你有两个卷积神经网络 implemented in matlab由这些层组成:

• 图像输入层
• 卷积层
• 最大池化层
• relulayer
• 软最大层
• 全连接层
• 分类层

这两个网络具有完全相同的架构。我对具有相同超参数的 2 个网络应用相同的训练方法。这两个网络在其相应层中具有完全相同的权重。

也就是说，这两个网络都是彼此的复制品。

这两个网络都使用完全相同的训练集和验证集进行训练，无需进行随机播放。

我想知道:

• 两者的分数(训练误差和验证误差)和训练权重是否会有所不同？
• 这取决于训练方法吗？

Answer 1

简而言之:两者都是肯定的 - 因为初始权重通常是使用随机数启动的。

简单来说:神经网络只是一种算法，如果在任何函数中没有引入噪声(即随机性)，两个网络最终将完全相同。