python - 视频中的对象跟踪

Question

我正在尝试跟踪视频中的人。但我找不到与 https://www.youtube.com/watch?v=Qjr3RYecv3U 类似的合适算法。 .

我尝试结合光流进行模板匹配，但如果跟踪的对象与另一个对象重叠，它总是会丢失。有人可以推荐一种合适的跟踪方法吗？

我正在使用 Python 和 OpenCV。

Answer 1

results昨天(2017 年 7 月 17 日)发布了 ILSVRC 2017 比赛。这个团队在两个跟踪类别中获胜，任务 3c(使用提供的训练数据从视频中检测/跟踪)和任务 3d(使用附加训练数据从视频中检测/跟踪)是这个团队:

邓建康(1)、周 Jade 祥(1)、于宝生(2)、陈哲(2)、Stefanos Zafeiriou(1)、陶大成(2)、(1)伦敦帝国理工学院、(2)悉尼大学

以下是他们的出版物、源代码和演示文稿:
[1] Deep Feature Flow for Video Recognition
Xizhou Zhu、Yuwen Xiong、Jifeng Dai、Lu Yuan 和 Yichen Wei，IEEE 计算机视觉和模式识别 session (CVPR)，2017。

[2] Flow-Guided Feature Aggregation for Video Object Detection , 朱喜洲, 王 Jade 杰, 戴继峰, 陆源, 魏一辰。 Arxiv 技术报告，2017 年。

介绍
https://www.youtube.com/watch?v=J0rMHE6ehGw

源代码
https://github.com/msracver/Deep-Feature-Flow

该代码具有以下先决条件:

Python 3.2.0+

微软的 MXNet

赛通

OpenCV(Python 绑定(bind))

他们的代码需要具有至少 6GB 内存的 GPU。

另一个选项是 ROLO .作者是宁广汉，他使用 You Only Look Once (YOLO) 进行检测，并使用 TensorFlow 实现 LSTM 进行跟踪。

他发表了一篇论文:
Spatially Supervised Recurrent Convolutional Neural Networks for Visual Object Tracking , IEEE 国际电路与系统研讨会，2017

他的代码在这里: https://github.com/Guanghan/ROLO

项目页面: http://guanghan.info/projects/ROLO/

先决条件:

Python 2.7 或 3.3+

TensorFlow

西皮

OpenCV(Python 绑定(bind))

他的一些工作视频:

ROLO example on unseen sequence: Surfer

ROLO example on unseen sequence: Boy

ROLO example on unseen sequence: Jumping