machine-learning - 我可以使用 Kinect 的深度图像重新训练 Inception 的最终层吗？

Question

我想知道是否可以使用 Kinect 制作的标志数据集来重新训练 inception 的最后一层，就像使用普通 RGB 图像的 Tensor Flow 教程网站中提到的那样。我是这个领域的新手。非常感谢您的意见。

Answer 1

简短的回答是“不。你不能只微调最后一层。但你可以微调整个预训练网络。”。预训练网络的第一层正在寻找 RGB 特征。您的深度帧几乎无法提供足够的熵来匹配它。您的选择是:

1. 如果识别/跟踪的对象(手)没有被遮挡，并且您有背景的实际深度数据，您可以从头开始在深度图像上进行训练，只需很少的对比度拉伸(stretch)和数据白化((x-mu)/西格玛)。对于像 Inception 和 ResNet 这样的 Ivy 联盟网络来说，这将需要很长时间。另外，请记住，大多数基于 Python 的深度学习框架都依赖于 PIL 图像加载器，默认情况下假设图像具有映射在 [0, 1] 范围内的 8 位 channel 。这些图像加载器转换所有 16 位像素的图像。

2. 如果识别/跟踪的对象(手)被遮蔽，这意味着您的背景设置为相同的值或几乎没有渐变，网络将过度拟合对象的轮廓，因为这是最强的地方边缘是。解决方案是使用法线贴图、HSA、HSV、JET 颜色编码对深度图像进行着色，将其转换为 3x8 位 channel 图像。这使得训练收敛得更快，在我最近的实验中，我们发现您可以在彩色深度上微调 Ivy 联盟网络。