python - Gstreamer 发送器和接收器在 Jetson TX1 上通过 UDP/TCP

Question

我想在 Jetson TX1 上使用 Gstreamer 通过 UDP 或 TCP 发送和接收视频帧。

看起来，我可以发送视频帧，如下所示。

发件人:

gst-launch-1.0 nvcamerasrc ! 'video/x-raw(memory:NVMM), width=(int)1024, height=(int)720, format=(string)I420, framerate=(fraction)30/1' !  nvvidconv flip-method=2 ! udpsink host=<BCast IP addr> auto-multicast=true port=8089

接收者:

gst-launch-1.0 -v udpsrc port=8089 ! ... ! nvoverlaysink -e

更新:这看起来不错，但是接收器上仍然有黑框。

 gst-launch-1.0 -v udpsrc port=8089 ! capsfilter caps='video/x-raw(memory:NVMM),width=244,height=244, format=I420, framerate=20/1' ! nvoverlaysink -e

我不知道“接收器”端需要添加哪些过滤器。(我尝试了“videoparse”，但收到错误:“videoparse:未找到事件”)另外，有没有办法使用 python 脚本捕获每个视频帧(图像)？最终，我想使用 python 脚本捕获 jpeg 或 png 格式的每个帧。我可以测试接收方是否可以从发送方(视频源)获取数据，但是仍然存在上述问题。

import socket
import sys
import time

HOST = ''   # Symbolic name meaning all available interfaces
PORT = 8089 # Arbitrary non-privileged port

# Datagram (udp) socket
try :
    s = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)
    print 'Socket created'
except socket.error, msg :
    print 'Failed to create socket. Error Code : ' + str(msg[0]) + ' Message ' + msg[1]
    sys.exit()


# Bind socket to local host and port
try:
    s.bind((HOST, PORT))
except socket.error , msg:
    print 'Bind failed. Error Code : ' + str(msg[0]) + ' Message ' + msg[1]
    sys.exit()

numFrames = 0
while 1:
    # receive data from client (data, addr)
    d = s.recvfrom(4096)
    data = d[0]
    addr = d[1]

    if not data:
        break

    reply = 'OK...' + data

    s.sendto(reply , addr)
    print 'Message[' + addr[0] + ':' + str(addr[1]) + '] - ' + data.strip()

Answer 1

要回答第一个问题，您需要包含另一个 gstreamer 元素 rtpvrawpay，以将数据包编码为适合 udpstreaming 的有效负载。由于 rtpvrawpay 不接受 nvidia 视频，请更改上限以强制 nvvidconv 将其转换为普通视频/x-raw。

gst-launch-1.0 -e nvcamerasrc ! 'video/x-raw(memory:NVMM), width=(int)1024, height=(int)720, format=(string)I420, framerate=(fraction)30/1' !  nvvidconv flip-method=2 ! 'video/x-raw, width=(int)1024, height=(int)720, format=(string)I420, framerate=(fraction)30/1' ! rtpvrawpay ! udpsink host=<BCast IP addr> auto-multicast=true port=8089

这应该会给你一个有效的流。要支付有效负载，请尝试:

 gst-launch-1.0 -v udpsrc port=8089 ! rtpvrawdepay ! capsfilter caps='video/x-raw,width=244,height=244, format=I420, framerate=20/1' ! nvoverlaysink -e

请注意，我们不采用 NVMM 格式，只是采用标准视频/x-raw。如果你会的

 gst-inspect-1.0 nvoverlaysink 

您将看到它接受 NVMM 或标准 x-raw 视频。

另请参阅此答案.. Stream H.264 video over rtp using gstreamer和ridgerun管道: https://developer.ridgerun.com/wiki/index.php?title=Gstreamer_pipelines_for_Tegra_X1

注意，如果您从命令行运行 Gstreamer 管道，我会在 Gstreamer 管道中添加 -e，否则 Ctrl-C 将无法正确关闭流。你的第二个问题是一个重要的练习。 https://github.com/markw63/pythongst/blob/master/README.md是使用 appsink 执行此类工作的代码示例。该代码从摄像头获取视频和音频，但可以轻松地从上面的 udpsrc 获取代码，连接到 appsink，然后在每个缓冲区(通常是帧)上发送消息和数据。 可以设置 Gstreamer，通过使用 appsink(示例的第 28 行)将任何流分割并捕获为单独的 jpeg(或其他内容)，并在 Gstreamer 管道中发布消息元素，并在 Gstreamer 管道上传递每个帧的消息。 DBUS (bus_signal_watch) 然后可以隔离帧并传递它们。如图所示，该版本需要多线程才能正常工作，有两个独立的线程，一个用于 Gstreamer 循环，一个用于 Gobject 循环。