opencv - 将 ffmpeg 流传递给 OpenCV

Question

我想使用重定向运算符将流从 ffmpeg 带到 cv2，以便我可以识别或标记流上的面孔并再次重定向该流，以便它在另一个流下运行。
一个不带facedetect，一个带facedetect。

raspivid -w 1920 -h 1080 -fps 30 -o - -t 0 -vf -hf -b 6000000 | ffmpeg -f h264 -i - -vcodec copy -g 50 -strict experimental -f tee -map 0:v "[f=flv]rtmp://xx.xx.xx.xx/live/withoutfacedetect |[f=h264]pipe:1" > test.mp4

然后我阅读了 CV2 并看到了这篇文章。
https://www.bogotobogo.com/python/OpenCV_Python/python_opencv3_Image_Object_Detection_Face_Detection_Haar_Cascade_Classifiers.php
然后我用我的照片运行脚本，非常惊讶我的脸周围有一个正方形。
但现在回到正题。做这个的最好方式是什么？
感谢@Mark Setchell，忘记提及我使用的是Raspberry Pi 4。

Answer 1

我仍然不能 100% 确定你真正想要做什么，并且我的想法比我在评论中所能表达的要多。我没有尝试所有我认为你正在尝试做的事情，我可能想多了，但如果我放下我的思维训练，也许其他人会添加一些有用的想法/更正......
好的，视频流最初以 RGB 或 YUV 的形式从摄像头进入 Raspberry Pi。使用 ffmpeg 似乎很愚蠢将其编码为 h264，将其传递给 OpenCV 在其stdin当AFAIK， OpenCV 无法轻易将其解码回 BGR 或任何它自然喜欢进行人脸检测的东西。
所以，我想我会将参数更改为 raspivid以便它生成 RGB 数据帧，并删除所有 h264 比特率的东西，即

raspivid -rf rgb  -w 1920 -h 1080 -fps 30 -o - | ffmpeg ...

现在我们有 RGB 进入 ffmpeg , 所以你需要使用 tee和 map类似于您已经拥有的并发送 RGB至 OpenCV 在其 stdin并将第二个流 h264 编码为 rtmp正如你已经拥有的那样。
然后在 OpenCV , 你只需要做一个 read()来自 stdin 1920x1080x3 字节来获取每一帧。该帧将采用 RGB，但您可以使用:

cv2.cvtColor(cv2.COLOR_RGB2BGR)

将 channel 重新排序到 BGR 为 OpenCV 需要。
当您从 stdin 读取数据时你需要做:

frame = sys.stdin.buffer.read(1920*1080*3)

而不是:

frame = sys.stdin.read(1920*1080*3)

它会破坏二进制数据，例如图像。