python - 如何将两个训练有素的神经网络权重矩阵合并为一个？

Question

我有两个相同的神经网络运行在两台独立的计算机上（以减少训练网络所需的时间），每个都有一个完整数据集（mnist）的子集。
我的问题是：我可以把两个网络的两个权重矩阵合并成一个矩阵，同时保持适当的精度吗？我看过几篇关于“批处理”或“随机梯度下降”的文章，但我不认为这适用于我的情况。
如果可能的话，你能给我提供一些伪代码吗？
任何投入都是有价值的！
谢谢您，

Answer 1

一般来说，如果你在训练后把体重/偏倚完全结合起来，这不太可能产生好的效果。不过，有办法让它发挥作用。
关于组合权重的直觉考虑以下简单的例子：有一个带有一个隐藏层的mlp。如果隐藏层中的节点被排列，输入的权重->隐藏的权重以相同的方式排列，并且隐藏的权重->输出使用逆排列，mlp的任何两个实例都可以为相同的输入生成相同的输出。换句话说，即使最终的网络没有随机性，哪个隐藏节点对应一个特定的特征也是随机的（由初始化的噪声决定）。
如果你在不同的数据（或相同数据的随机子集）上训练两个这样的mlp，它们很可能会以隐藏节点的不同排列结束，即使初始化都是相同的，因为在训练期间梯度的噪声。
现在，如果输入的某个属性最强烈地激活网络a的第i个节点和网络b的第j个节点（通常是i！=j），平均a的第i个节点和b的第i个节点（对应于不同的特征）之间的权重可能会降低性能，甚至产生产生产生无意义输出的网络。
这里有两种可能的修复方法-您可以使用其中一种，也可以同时使用这两种方法。其思想是要么找出两个网络之间匹配的节点，要么强制节点匹配。
解决方案A：在不同的数据上对两个网络进行几次迭代训练。平均两个网络的权重，并用平均权重替换这两个网络。重复。这使得每个网络的i-th节点学习到与另一个网络的匹配节点相同的特征，因为它们永远不会偏离太远。它们经常从平均权值重新初始化，因此一旦确定了排列，就很可能保持稳定。
平均频率的合理值介于每个历元一次和每几个小批量一次之间。学习仍然比按顺序在所有数据上训练一个网络快，尽管使用两个网络的速度不是两倍。在每一个小批量之后，通信开销比平均权重（或梯度）要低得多。这可以在集群中的不同机器上运行：传输权重并不禁止，因为它相对较少。而且，任何数量的同时训练的网络（和数据分割）都可以超过两个：实际上，最多10-20个网络可以正常工作。
（提示：为了获得更好的结果，在每个纪元之后，在您正在训练的网络之间对数据进行新的随机分割）
这在效果上类似于这里提到的“梯度聚集”，但聚集的次数要少得多。你可以把它看作是“懒惰的聚合”。
解决方案B：在平均之前，尝试找出哪些隐藏层节点匹配。在权重上计算一些相似度量（可以是l2或任何沿着这些线的度量），并平均两个网络中最相似节点对的权重。您还可以对不止一对节点进行加权平均；例如，您可以对所有节点或k个最相似的节点进行加权平均，其中使用的权重是相似度的函数。
对于深度网络，在计算下一级的相似度之前，必须从输入一直跟踪配对，并根据下一级的最高相似度配对排列权重（或者如果进行加权平均，则传播权重）。
这可能适用于具有几个层的网络，但我认为对于非常深的网络，这不太可能完美地工作。对于前几层，它仍然可以正常工作，但是在到达网络顶部时，跟踪排列可能无法找到好的匹配节点。
另一种处理深层网络（另一种是从底部向上跟踪排列）的方法是在测试数据集上运行两个网络并记录每个输入的所有节点的激活，然后平均具有相似激活模式（即倾向于由相同输入强激活）的节点的权重。同样，这可以基于对a和b中最相似的一对求平均值，或者对两个以上的节点求适当的加权平均值。
您可以将此技术与上面的“解决方案A”一起使用，以减少平均权重的次数。还可以使用按节点相似度加权平均来加快“解决方案A”的收敛速度。在这种情况下，如果“解决方案B”中的方法不能很好地工作是可以的，因为网络偶尔会被组合的网络替换掉——但是如果组合的网络是通过某种匹配方法而不是简单的平均来产生的，那么它可能会更好。额外的计算是否值得与集群中减少的通信开销和更快的收敛速度相比，取决于您的网络架构等。