machine-learning - 关于堆叠去噪自动编码器中下一层的查询

Question

所以我正在训练一个堆叠式去噪自动编码器，每个自动编码器有 3 层。我的目标是通过使用堆叠式去噪自动编码器进行图像分类。

我用来创建图像片段的方法:

• 将整个图像分割成 8x8 block
• 将 block 大小调整为 1x64
• 随机选择 block (例如:mod 7 或其他)并插入到 TrainingMatrix

训练自动编码器的步骤:

• TrainingMatrix 维度:[10000x64](即 10000 个 64 维训练样本)
• 3层系统:[64 -> 32 -> 64]
• 用高斯噪声破坏每个训练样本
• 训练一个神经网络，输入:[损坏的输入]，输出:[未损坏的数据]，然后是 BACKPROP

对于下一个 DAE，我是否使用最后一层(即第 2->3 层)的权重来训练下一层？或者我是否必须通过网络运行另一个样本，然后用它来训练下一层？如果我们使用第 2->3 层的权重，我们不是只有一个样本集来训练下一个自动编码器吗？如果是这种情况，那么权重是否只是权重矩阵的随机生成的初始值？

堆叠 DAE 层后的最终步骤:

• 通过 SVM 等监督层运行最终 DAE 层

抱歉，如果这听起来像是一个微不足道的问题。

Answer 1

我对堆叠去噪自动编码器的解释是，您使用反向传播训练第一个自动编码器(即 64 -> 32 -> 64)，并将无噪声输入作为输出，就像典型的神经网络一样，然后将数据推送到第一层进入 32 维空间并运行相同的过程(即 32 -> 16 -> 32)并从那里继续前进。然后你可以添加另一层。理论上，您还可以对网络进行某种微调，因为您也可以形成 64 -> 32 -> 16 -> 32 -> 64 网络并微调参数，但这可能不是必需的。

完成这些步骤后，您将在 64 维空间中输入数据，并将其推送到 64 -> 32 -> 16 -> 分类器。如果您想使用神经网络作为分类器，那么您可以在此之后继续使用更多层，然后一直运行反向传播直到开始，从而获得更好的结果。关于堆叠去噪自动编码器的原始工作是 here (PDF)。

顺便说一句，如果您正在考虑使用 SVM，我相信这被称为学习内核，但我没有这方面的引用资料。