object - 多目标跟踪 (MOT) 评估的最佳指标是什么？为什么？

Question

我想在我自己的数据集上比较多种计算机视觉多目标跟踪 (MOT) 方法，因此首先我想为这项任务选择最佳指标。我对科学文献进行了一些研究，得出的结论是存在三个主要指标集:

1. 来自 "Tracking of Multiple, Partially Occluded Humans based on Static Body PartDetection" 的指标
2. CLEAR MOT metrics
3. ID scores

因此，我想知道我应该最重视上述哪些指标？

我想问问是否有人遇到过类似的问题并对这个主题有任何想法可以证明并帮助我为上述任务选择最佳指标。

Answer 1

我知道这是旧的，但我看到没有人提到 HOTA ( https://arxiv.org/pdf/2009.07736.pdf )。该指标已成为多目标跟踪的新标准，最新的 SOTA 跟踪研究表明:https://arxiv.org/abs/2202.13514和 https://arxiv.org/pdf/2110.06864.pdf

使用非 MOTA 和 IDF1 指标的原因是它们分别过分强调检测和关联。 HOTA 明确测量这两种类型的错误并以平衡的方式组合它们。 HOTA 还结合了测量跟踪结果的定位精度，这在 MOTA 或 IDF1 中都不存在。