c++ - 如何使用 OpenCV 在 COD 中搜索播放器模型

Question

我正在尝试创建一个程序，可以在使命召唤的游戏视频中找到人物形象。我从该视频中编制了一份包含约 2200 张独立图像的列表，其中包含人物形象或不包含人物形象。然后我尝试训练一个神经网络来区分两组图像。

然后，我将每个视频帧分成几百个网格矩形，然后用我的人工神经网络检查每个矩形。矩形重叠以 try catch 网格矩形之间的图形，但这似乎效果不佳。所以我有几个问题:

1. 神经网络是正确的选择吗？我读到过它们与其他机器学习算法相比非常快，最终我打算将其用于实时视频，速度非常重要。

2. 在图像框中搜索数字以在 ANN 上进行测试的最佳方法是什么？我觉得我这样做的方式不是很好。它绝对不是很快或不准确。一张 960 x 540 的图像每帧大约需要一秒钟，而且精度很差。

3. 我遇到的另一个问题是构建特征向量以用作 ANN 输入的最佳方法。目前，我只是将所有输入图像缩小到 25 x 50 像素，并创建一个包含每个像素强度的特征向量。这是一个非常大的 vector (1250 个 float )。构建特征向量的更好方法是什么？

关于我在这里做什么的更详细的解释:CodAI: Computer Vision

编辑:我想要更多细节。计算特征的最佳方法是什么。我需要能够在许多不同的位置识别人物形象。我是否需要创建单独的分类器来识别直立、蹲伏和俯卧之间的区别？

Answer 1

• 使用原始强度作为特征向量是行不通的¹。照明等引起的变化太大。
• HOG 是一个很好的第一步。 opencv 2.2 有一个 GPU (cuda) 版本的检测器，速度很快。
• 神经网络可能不是最好的选择。通常您会使用 SVM 或提升作为分类器²。并不是神经网络不够强大，而是很难得到正确的训练/参数。很多时候你会陷入局部最小值等。
• 对于俯卧/蹲伏/站立的人物，您肯定需要不同的分类器并将它们用于混合模型。
• 您问的是“最佳方法”- 到目前为止，人体检测还没有解决问题，因此没有人知道最佳方法。众所周知，上面提到的东西效果很好。
• 如果你想要一个好的结果，你肯定想要利用你的目标是特定的 - 所以，利用你试图检测执行任务的人类。您需要检查的位置范围不是整个图像，数字将靠近地面。这使您可以加快搜索速度并减少错误检测。如果可以，请减少渲染的细节 - 细节越少意味着变化越少，这意味着更容易学习问题。

脚注:
¹ 对于吹毛求疵的人:没有高度复杂的分类器。
²您还可以使用级联的增强分类器来提高速度，而不会牺牲太多的检测率。