opencv - 从相机跟踪对象； PID控制；鹦鹉 AR 无人机 2

Question

我正在做一个项目，我应该使用 Parrot AR Drone 2.0 的相机实现对象跟踪技术。所以主要的想法是，无人机应该能够识别指定的颜色，然后保持一定距离跟随它。

我正在使用 opencv与无人机建立通信的API。此 API 提供功能:

ARDrone::move3D(double vx, double vy, double vz, double vr)

在 3D 空间和位置移动 AR.Drone

• vx:X 方向速度 [m/s]
• vy:Y 速度 [m/s]
• vz:Z 轴速度 [m/s]
• vr:转速 [rad/s]

我编写了一个应用程序，它使用 OpenCV 对从无人机摄像头获得的图像进行简单的图像处理，并找到要跟踪的对象所需的轮廓。请参见下面的示例:

现在我正在努力的部分是找到我应该用来找到速度的技术发送到 move3D 函数。我读过进行控制的常用方法是使用 PID 控制。但是，我已阅读相关内容，但无法理解它与此问题有何关联。

总而言之，我的问题是如何将机器人移向其相机检测到的物体？如何从相机中找到某些物体的坐标？

Answer 1

编辑:
所以，我刚刚意识到你正在使用无人机和你的坐标系统 WRT 无人机可能 x 向前进入图像，y 图像左侧(图像列)，z 垂直向上(图像行)。我的答案有坐标 WRT 相机 x = 列，y = 行，z = 深度(进入图像)当你阅读我的大纲时请记住这一点。此外，我写的所有内容都是伪代码，如果不进行多次修改，它将无法运行

原帖:
PID Controller 是比例-积分-微分 Controller 。它会根据您的具体错误决定执行的操作顺序。

对于您的问题，让我们假设最佳跟踪意味着矩形位于图像的中心，并且占据大约 30% 的像素空间。这意味着您要移动相机/机器人，直到满足这些条件。我们将调用这些目标参数

x_ideal = image_width / 2
y_ideal = image_height / 2
area_ideal = image_width * image_height * 0.3

现在假设您的边界框由 4 个参数表征

(x_bounding, y_bounding, width_bounding_box, height_bounding_box)

您的错误大致如下:

x_err = x_bounding - x_ideal;
y_err = y_bounding - y_ideal;
z_err = area_ideal - (width_bounding_box * height_bounding_box)

请注意，我已将 z 距离(深度)与对象的大小联系起来。这假设被跟踪的对象是刚性的并且不会改变大小。大小的任何变化都是由于物体到相机的距离(较大的边界框表示物体近，小的表示物体远)。这是一个估计，但在没有相机或物体本身的任何参数的情况下，我们只能做出这些一般性陈述。

我们在创建控制序列时需要牢记符号，这就是为什么在做减法时顺序很重要。让我们从逻辑上考虑一下。 x_err 确定边界框与所需位置的水平距离。在我们的例子中，这应该是积极的，这意味着机器人应该向左移动，这样物体就会靠近图像的中心。盒子太小，意味着物体太远等。

z_err < 0 : means bot is too close and needs to slow down, Vz should be reduced
z_err = 0 : keep the speed command the same, no change
z_err > 0 : we need to get closer, Vz should increase

x_err < 0 : means bot is to the right and needs to turn left(decreasing x), Vx should be reduced
x_err = 0 : keep the speed in X the same, no change to Vx
x_err > 0 : means bot is to the left and needs to turn right(increasing x), Vx should be increased

我们可以对每个 y 轴做同样的事情。现在我们使用此错误为机器人创建命令序列。

该描述听起来很像 PID Controller 。观察状态，找出错误，创建控制序列以减少错误，然后一遍又一遍地重复该过程。在您的情况下，速度将是您的算法输出的 Action 。您实际上将运行 3 个 PID

1. PID for X
2. PID for Y
3. PID for Z

因为它们本质上是正交的，我们可以说每个系统都是独立的(理想情况下是这样)，在 x 方向上移动不应该影响 Y 方向。这个例子也完全忽略了方位信息 (Vr)，但它只是一个思想练习，而不是一个完整的解决方案

修正的确切速度由您的 PID 系数决定，这就是事情变得有点棘手的地方。 Here是一个易于阅读(几乎没有数学)的概述或 PID 控制。您将不得不通过一些实验来使用您的系统(也称为“调整”您的参数)。这变得更加困难，因为相机不是完整的 3d 传感器，所以我们无法从环境中提取真实的测量值。在不知道有关您的传感器/环境的更多信息的情况下，很难将 ~30 像素 的误差转换为 m/s，但我希望这能让您大致了解如何继续