iOS AVFoundation - 是否可以通过位置/运动跟踪将文本/图像添加到视频中？

Question

我知道如何使用 AVFoundation 在 iOS 上的视频中添加文本/图像叠加层。

1. 有没有什么方法可以使用视频中某些对象/区域的位置/运动跟踪来做到这一点？

2. 这种视频编辑功能到底叫什么？

假设我有一个汽车从左向右移动的视频。我想将另一辆车的图像放置在原始汽车的位置，以便当视频中的汽车从左向右移动时，我的图像会跟随在那辆车的顶部。我还希望它在汽车从左向右移动时适当倾斜。

另一个例子是监视器的视频。然后我将图像放在该监视器的屏幕上。

如果我需要进一步解释，请告诉我。

除了 iOS 之外，还有其他库可以做到这一点吗？喜欢 ffmpeg 吗？

Answer 1

您广泛寻找的是对象识别，这本身就是一个相当复杂的主题，也是计算机视觉领域的一部分。

AVFoundation 包括对人脸检测的支持，并且做得相当合理 https://developer.apple.com/reference/avfoundation/avmetadatafaceobject但仅此而已。

为了完成您想做的事情，我将从 OpenCV(包括对 iOS 的支持)开始，并从那里进行调查 http://opencv.org/

您不会找到字面上的“给我找辆车”API，您会发现许多不同的算法，这些算法的实现允许您训练它们并检测它们所训练的对象。一种潜在的算法是使用 Haar Cascades。这里有更多关于使用这些和训练你自己的分类器的细节https://github.com/andrewssobral/vehicle_detection_haarcascades