gpt4 book ai didi

c++ - 使用 libvlc smem 从视频中获取帧并将其转换为 opencv Mat。 (c++)

转载 作者:可可西里 更新时间:2023-11-01 18:35:50 27 4
gpt4 key购买 nike

[更新了部分答案]
这是我的代码:

void cbVideoPrerender(void *p_video_data, uint8_t **pp_pixel_buffer, int size) {
// Locking
imageMutex.lock();
videoBuffer = (uint8_t *)malloc(size);
*pp_pixel_buffer = videoBuffer;
}
void cbVideoPostrender(void *p_video_data, uint8_t *p_pixel_buffer
, int width, int height, int pixel_pitch, int size, int64_t pts) {
// Unlocking
imageMutex.unlock();
Mat img = Mat(Size(width,height), CV_8UC3, p_pixel_buffer);
//cvtColor(img,img,CV_RGB2BGR);
}
int main(int argc, char ** argv)
{
libvlc_instance_t * inst;
char smem_options[1000];
sprintf(smem_options
, "#transcode{vcodec=RV24}:smem{"
"video-prerender-callback=%lld,"
"video-postrender-callback=%lld,"
"video-data=%lld,"
"no-time-sync},"
, (long long int)(intptr_t)(void*)&cbVideoPrerender
, (long long int)(intptr_t)(void*)&cbVideoPostrender //This would normally be useful data, 100 is just test data
, (long long int)200 //Test data
);
const char * const vlc_args[] = {
"-I", "dummy", // Don't use any interface
"--ignore-config", // Don't use VLC's config
"--extraintf=logger", // Log anything
"--verbose=1", // Be verbose
"--sout", smem_options // Stream to memory
};

// We launch VLC
inst = libvlc_new(sizeof(vlc_args) / sizeof(vlc_args[0]), vlc_args);
...
return 0;
}

问题已更新
我检查了我的两个回调函数是否正确执行。
_RV32到底输出什么样的数据?它是否适合 CV_8U3C(此处需要无符号 8 位整数 3 channel ?_我需要在我的 Mat 类中添加一个步骤吗? (step – 每个矩阵行占用的字节数)
更新2
我将 RV32 更改为 RV24,这更有意义。我添加了 cvtColor,因为 Mat 矩阵似乎需要 BGR 像素而不是 RGB,但图像仍然无法正确显示。
_是否有一个 vcodec 可以给我一个 YUV 格式作为输出,这样我就可以在尝试输出 opencv::Mat img 之前测试像素数据?
[编辑输出 IMG](通过将 vlc 类型更改为 CV_8UC4 四 channel (不知道为什么)我们几乎可以看到帧,但质量真的很差,这是为什么? img updated 2
[解决方案]
我发现我视频开头的图像质量很差,这就是为什么我的 Mat imshow() 向我展示了如此丑陋的东西上面的代码现在应该可以工作了(显然不需要 cvtColor)

最佳答案

首先,快速警告:从 VLC2.2(当前 git 版本,即将发布)开始,size 参数是一个 size_t。没有用于 smem 的 API(还没有?希望这会改变),这很糟糕,所以这会默默地破坏您的应用程序。

然后,快速评论一下“数据”参数:它应该包含您进行处理所需的内容。那是一个指向结构的指针,一个类的实例,你给它命名。我强烈怀疑传递 long long 是否可以在 32 位机器上工作,因为你会在只能包含 32 位的东西中强制使用 64 位。您应该做的是声明一个结构,并将您需要的内容存储到其中。在这里,一个很好的例子可能是:

struct MyParamStruct
{
YourMutexType imageMutex; // Here mutex is not a global variable anymore
int otherParam; // You can use this to store the value 200 that you were passing before
};
//...

// Init the struct somewhere
MyParamStruct* param = new MyStructParam;
param->otherParam = 200;
//...

sprintf(smem_options
, "#transcode{vcodec=h264}:smem{"
"video-prerender-callback=%lld,"
"video-postrender-callback=%lld,"
"video-data=%lld,"
"no-time-sync},"
, (long long int)(intptr_t)(void*)&cbVideoPrerender
, (long long int)(intptr_t)(void*)&cbVideoPostrender //This would normally be useful data, 100 is just test data
, (long long int)(intptr_t)(void*)param
);

关于互斥锁的使用,我觉得不错。实际上,您在这里似乎没有任何并发​​问题,因为您为每个帧同步分配了一个新缓冲区。如果您每次都使用预分配的缓冲区,则在退出后渲染函数时需要考虑锁定。

In fact I'm not even sure about what is exactly the void pointer p_video_data.

这取决于您的图像格式。对于 H264,这取决于解码器输出的像素格式。由于您要求 H264 输出,因此您很可能会获得平面像素格式,但具体类型取决于您的 H264 配置文件。

如果您期望结果是原始数据(这似乎是这种情况,因为 CV_8UC3 似乎指的是 3 channel 原始图像,在快速浏览谷歌后),我建议您切换到 RV32:#transcode{vcodec=RV32}

您需要传递给转码模块的是您的输出 fourcc,VLC 会为您处理输入:)

更新

我不知道 Mat 类是否拥有您的指针的所有权,但您可能也想检查一下。

更新2

回答您关于什么是 RV32 的进一步问题:

/* 24 bits RGB */
#define VLC_CODEC_RGB24 VLC_FOURCC('R','V','2','4')
/* 24 bits RGB padded to 32 bits */
#define VLC_CODEC_RGB32 VLC_FOURCC('R','V','3','2')
/* 32 bits RGBA */
#define VLC_CODEC_RGBA VLC_FOURCC('R','G','B','A')

如果您只期望 3 个字节,那么您可能应该尝试 RV24!我可能应该从一开始就建议,因为 8CU3 肯定只建议 3 个字节...

关于c++ - 使用 libvlc smem 从视频中获取帧并将其转换为 opencv Mat。 (c++),我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/23092940/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com