python - 在 python 中从 opencv 写入 Gstreamer 管道

Question

我正在尝试使用 gstreamer 从 opencv 流式传输一些图像，但我在管道方面遇到了一些问题。一般来说，我是 gstreamer 和 opencv 的新手。我在树莓派 3 上用 gstreamer 为 python3 编译了 opencv 3.2。我有一个与 raspivid 一起使用的小 bash 脚本

raspivid -fps 25 -h 720 -w 1080 -vf -n -t 0 -b 2000000 -o - | gst-launch-1.0 -v fdsrc ! h264parse ! rtph264pay config-interval=1 pt=96 ! gdppay ! tcpserversink host=192.168.1.27 port=5000

我想翻译这条管道，以便从 opencv 使用它，并将我的算法处理的图像输入其中。我做了一些研究，发现我可以将 videoWriter 与 appsrc 而不是 fdsrc 一起使用，但我收到以下错误

GStreamer Plugin: Embedded video playback halted; module appsrc0 reported: Internal data flow error.

顺便说一句，我想出的python脚本如下 导入cv2

cap = cv2.VideoCapture(0)


# Define the codec and create VideoWriter object
fourcc = cv2.VideoWriter_fourcc(*'MJPG')
out = cv2.VideoWriter('appsrc  ! h264parse ! '
                      'rtph264pay config-interval=1 pt=96 ! '
                      'gdppay ! tcpserversink host=192.168.1.27 port=5000 ',
                      fourcc, 20.0, (640, 480))

while cap.isOpened():
    ret, frame = cap.read()
    if ret:
        frame = cv2.flip(frame, 0)

        # write the flipped frame
        out.write(frame)

        if cv2.waitKey(1) & 0xFF == ord('q'):
            break
    else:
        break

# Release everything if job is finished
cap.release()
out.release()
cv2.destroyAllWindows()

流水线有没有错误？我不明白这个错误。我已经有一个可以从 bash 管道读取的 Python 客户端，从延迟和消耗资源的角度来看，结果非常好。

Answer 1

我找到了解决方案，希望这能帮助遇到同样问题的其他人。管线布置错误，需要videoconvert。另一方面，延迟非常重要，但将 speed.preset 设置为 ultrafast 可以解决问题，即使那里没有进行太多压缩，这是一个很好的折衷方案。这是我的解决方案。

import cv2

cap = cv2.VideoCapture(0)

framerate = 25.0

out = cv2.VideoWriter('appsrc ! videoconvert ! '
                      'x264enc noise-reduction=10000 speed-preset=ultrafast tune=zerolatency ! '
                      'rtph264pay config-interval=1 pt=96 !'
                      'tcpserversink host=192.168.1.27 port=5000 sync=false',
                      0, framerate, (640, 480))

while cap.isOpened():
    ret, frame = cap.read()
    if ret:

        out.write(frame)

        if cv2.waitKey(1) & 0xFF == ord('q'):
            break
    else:
        break

# Release everything if job is finished
cap.release()
out.release()