ffmpeg 管道图像到 redis

Question

我需要找到一种方法将 ffmpeg 帧保存到 redis 变量中。
目前我正在将 png 图像从 ffmpeg 管道传输到 redis，但它连接了所有图像:
ffmpeg -re -i udp://127.0.0.1:5545 -c:v png -r 1 -update 1 - | redis-cli -x HSET sb4up
是否可以每秒用一个新帧更新 redis 变量？

Answer 1

我一直在思考这个问题。我不是 ffmpeg 方面的专家并且可能有一些更简单的东西，所以如果有人让我知道更好的方法，我可能会删除它。
目前，我的想法是，如果 ffmpeg将 JPEG 或 PNG 作为输出写入，您需要一个能够解析连接流并搜索 START-OF-IMAGE/END-OF-IMAGE 或(JPEG SOI/EOI 或 PNG IHDR/IEND)标记并理解 block 和部分。所以，我认为强制 ffmpeg 可能更简单写固定长度的图像，然后你可以读N字节知道它对应于一个帧，您不需要一堆“胶水”代码来编写和维护 - 只需标准工具。
我没有你的 UDP 流，所以我只使用了 .mov文件。然后我强制 RGB24编码和固定大小、调整大小的 640x480 帧。然后我将其拆分为 640x480x3 RGB 字节的 block 并询问 ImageMagick 从原始视频创建一个 PNG 并将其作为 PNG 输入 Redis:

#!/bin/bash

# Set height and width of frame, and size in bytes
h=480
w=640
bytes=$((h*w*3))

ffmpeg -i video.mov -r 1 -s ${w}x${h} -update 1 -pix_fmt rgb24 -f rawvideo - 2> /dev/null | \
   gsplit -b $bytes --filter="magick -depth 8 -size ${w}x${h} rgb:- png:- | redis-cli -x SET sb4up"

然后我使用 OpenCV 从 每 0.5 秒抓取一次图像Redis 并显示结果。

#!/usr/bin/env python3

import redis
import cv2
import numpy as np

host='localhost'
port=6379
        
r = redis.Redis(host,port)

while True:
   png=r.get('sb4up')
   frame = cv2.imdecode(np.frombuffer(png,np.uint8), cv2.IMREAD_COLOR)
   cv2.imshow("Viewer", frame)
   cv2.waitKey(500)

备注 : 我用过 gsplit对于 GNU split因为我在 Mac 上。在 Linux 上，只需使用 split .
备注 :显然，只要在代码的两个部分都更新它，您就可以使用不同大小的框架 - 即都在 gsplit 中。和 ImageMagick .
备注 : 不一定要安装 ImageMagick 并对每个图像进行 PNG 编码，因为 中只有一张最新的图像Redis 所以空间不会成为问题，因为没有数千帧，所以你可以省略 ImageMagick 并将原始 RGB24 数据写入 Redis 没有 ImageMagick .然后从 获取原始数据Redis 并使用 np.reshape()使其成为正确形状的图像。
我还在思考，可能会想出更好的东西... Perl 可能有利于在模式上拆分二进制流......
另一个想法是拥有 ffmpeg写 PNG序号如 frame-%03d.png 的文件并运行 fswatch/inotify抓取单个帧并将它们填充到 Redis .