gstreamer - mux klv 数据与 h264 由 mpegtsmux

Question

我需要将 klv 元数据复用到 h264 流中。我已经创建了应用程序。但是只有在插入 klv-data 时才会播放流。当我停止推送 klv-data 时，整个流都会停止。通过 mpegtsmux 复用异步 klv 数据的正确方法是什么？

Klv-data 需要插入到以下工作管道中:

v4l2src input-src=Camera ! videorate drop-only=true  ! 'video/x-raw, format=(string)NV12, width=1920, height=1088, framerate=25/1' ! ce_h264enc  target-bitrate=6000000 idrinterval=25 intraframe-interval=60 ! queue ! mpegtsmux  alignment=7 ! udpsink host=192.168.0.1 port=3000 -v

此管道收集在应用程序中。要插入 klv-metadata appsrc 创建:

appSrc = gst_element_factory_make("appsrc", nullptr);
gst_app_src_set_caps (GST_APP_SRC (appSrc), gst_caps_new_simple("meta/x-klv", "parsed", G_TYPE_BOOLEAN, TRUE, "sparse", G_TYPE_BOOLEAN, TRUE, nullptr));
g_object_set(appSrc, "format", GST_FORMAT_TIME, nullptr);

然后 appsrc 链接到管道:

gst_bin_add(GST_BIN(pipeline), appSrc);
gst_element_link(appSrc, mpegtsmux);

这是推送功能:

void AppSrc::pushData(const std::string &data)
{
GstBuffer *buffer = gst_buffer_new_allocate(nullptr, data.size(), nullptr);
GstMapInfo map;
GstClock *clock;
GstClockTime abs_time, base_time;

gst_buffer_map (buffer, &map, GST_MAP_WRITE);
memcpy(map.data, data.data(), data.size());
gst_buffer_unmap (buffer, &map);

GST_OBJECT_LOCK (element);
clock = GST_ELEMENT_CLOCK (element);
base_time = GST_ELEMENT (element)->base_time;
gst_object_ref (clock);
GST_OBJECT_UNLOCK (element);
abs_time = gst_clock_get_time (clock);
gst_object_unref (clock);

GST_BUFFER_PTS (buffer) = abs_time - base_time;
GST_BUFFER_DURATION (buffer) = gst_util_uint64_scale_int (1, GST_SECOND, 1);

gst_app_src_push_buffer(GST_APP_SRC(element), buffer);
}

Gstreamer 版本为 1.6.1。

我的代码有什么问题？我很感激你的帮助。

我可以推送虚拟 klv-packets 来维护视频流。但我不想污染上行流，我相信应该有更微妙的解决方案。

我发现我可以用 GST_STREAM_FLAG_SPARSE 发送事件，这应该适合字幕。但结果我根本没有输出。

GstEvent* stream_start = gst_event_new_stream_start("klv-04");
gst_event_set_stream_flags(stream_start, GST_STREAM_FLAG_SPARSE);
GstPad* pad = gst_element_get_static_pad(GST_ELEMENT(element), "src"); 
gst_pad_push_event (pad, stream_start);

在调试时，我发现在将以下补丁应用于 gstreamer 并使用 GST_STREAM_FLAG_SPARSE 后，当 appsrc 停止推送数据包时，流不会停止。

diff --git a/libs/gst/base/gstcollectpads.c b/libs/gst/base/gstcollectpads.c
index 8edfe41..14f9926 100644
--- a/libs/gst/base/gstcollectpads.c
+++ b/libs/gst/base/gstcollectpads.c
@@ -1440,7 +1440,8 @@ gst_collect_pads_recalculate_waiting (GstCollectPads * pads)
   if (!GST_COLLECT_PADS_STATE_IS_SET (data, GST_COLLECT_PADS_STATE_WAITING)) {
     /* start waiting */
     gst_collect_pads_set_waiting (pads, data, TRUE);
-        result = TRUE;
+      if (!GST_COLLECT_PADS_STATE_IS_SET (data, GST_COLLECT_PADS_STATE_LOCKED))
+          result = TRUE;
       }
     }
   }

无论如何，接收器在最后一个 klv 数据包后 10 秒停止更新屏幕。

Answer 1

这是一个有点旧的线程，但是，

但根据我的经验，如果 appsrc 和 muxer 之间没有队列，您将得到这种行为。我会改变你的:

gst_element_link(appSrc, mpegtsmux);

对此:

gst_element_link(appSrc, appSrcQueue);
gst_element_link(appSrcQueue, mpegtsmux);

我不确定 mpegtsmux 是否有能力，但我们使用的多路复用器有一个名为 do-timestamping 的属性。当它被设置为 TRUE我们有更好的体验。

我要给出的另一个提示是使用 gst-inspect工具来查看每个元素有哪些选项。