neural-network - 用于时间相关特征的卷积神经网络

Question

我需要从一系列图像中进行降维。更具体地说，每个图像都是一个球移动的快照，最佳特征是它的位置和速度。据我所知，CNN 是减少图像分类特征的最先进技术，但在这种情况下只提供了一个帧。是否有可能在不同时间步长的情况下提取许多图像的时间相关特征？否则哪个是最先进的技术呢？

这是我第一次使用 CNN，我也很感激任何引用或任何其他建议。

Answer 1

如果您希望能够让网络以某种方式识别依赖于时间的进程，您可能应该研究循环神经网络 (RNN)。由于您将在视频上进行操作，您应该研究循环卷积神经网络 (RCNN)，例如:http://jmlr.org/proceedings/papers/v32/pinheiro14.pdf

循环增加了输入数据先前状态的一些内存。看到 Karpathy 的这个很好的解释:http://karpathy.github.io/2015/05/21/rnn-effectiveness/

在您的情况下，您需要在多个图像中重复出现，而不仅仅是在一个图像中。看起来您需要解决的第一个问题是图像分割问题(​​能够从图像的其余部分中挑选出球)，上面链接的第一篇论文涉及分割。 (话又说回来，也许您正试图利用运动来识别运动物体？)

这是另一个想法:也许您只能查看顺序帧之间的差异并将其用作 convnet 的输入数据？然后输入“图像”将显示移动对象在前一帧中的位置以及它在当前帧中的位置。较大的差异将表明较大的运动量。这可能与使用循环网络产生类似的效果。