deep-learning - Deepmind Deep Q Network (DQN) 3D 卷积

Question

我正在阅读 DQN 网络上的 deepmind 自然论文。
我几乎得到了关于它的一切，除了一个。我不知道为什么以前没有人问过这个问题，但无论如何对我来说似乎有点奇怪。

我的问题:
DQN 的输入是一个 84*84*4 的图像。第一个卷积层由32个8*8的滤波器组成，步长为4。我想知道这个卷积阶段的结果是什么？我的意思是，输入是 3D，但我们有 32 个过滤器，它们都是 2D。第三维(对应游戏最后4帧)如何参与卷积？

有任何想法吗？
谢谢
阿明

Answer 1

您可以将第三维(代表最后四帧)视为进入网络的 channel 。

如果您组合三个 RGB channel 来创建灰度表示，则会出现类似的情况。在这种情况下，您单独执行每个卷积(针对每个 channel )并将贡献求和以给出最终输出特征图。

DeepMind 的人引用了这篇论文 (What is the Best Multi-Stage Architecture for Object Recognition?)，它可能会提供更好的解释。