javascript - 使用 JavaScript 和 TensorFlow 通过 PoseNet 进行多人跟踪的问题

Question

我们正在使用 JavaScript 的 PoseNet 库进行多人跟踪。我们有时会看到数据与错误的人相关联。

人1

• 跟踪数据

第二个人

• 跟踪数据

一段时间后:

人1

• 人员 2 的追踪数据

第二个人

• 人员 1 的跟踪数据

我们可以在Javascript中添加一些代码来检查数据的有效性。这是 PoseNet 中多人跟踪的工作方式还是一个错误？

Answer 1

Posenet 不会以这种方式追踪人们。它只是查找人员并以某种随机顺序创建一个数组。换句话说，它从每一帧开始，不知道之前的帧。您必须编写自己的算法。

我的建议是查看每一帧中脸部的点，并将它们与前一帧中的点进行比较。一种简单的方法是简单地找到前一帧中与当前帧中的面部最接近的面部。如果您需要以更复杂的方式执行此操作，则需要进行 Blob 跟踪，在其中实际查看每个人的颜色/构图并确保它们在帧之间匹配。