c++ - 使用 VLC imem 从内存中播放 h264 视频文件但收到错误 "main stream error: cannot pre fill buffer"

Question

我有一个加载到内存中的 h264 视频文件，我尝试使用参数“imem-cat=4”使用 imem 播放它，这样 vlc 将使用访问模块来解复用视频，然后 vlc 启动并成功接收我的 imem 参数:

[0x7f38a0000e28] access_imem demux debug: Using get(0x404e1d), release(0x404e91), data(0x7fff5b4a9430), cookie("IMEM")

此类别还意味着我不必提供 DTS 和 PTS。 VLC 的 imem 模块没有很好的文档记录，但我在几个地方找到了提示，例如

https://forum.videolan.org/viewtopic.php?t=111917

https://forum.videolan.org/viewtopic.php?f=32&t=93842

Play video using libVLC from memory in python

我的 imem-get 函数只是在第一次调用时将缓冲区指针设置为视频数据，返回 0，在任何进一步的调用中它返回 1 以指示没有更多数据:

int MyImemGetCallback (void *data,
                   const char *cookie,
                   int64_t *dts,
                   int64_t *pts,
                   unsigned *flags,
                   size_t * bufferSize,
                   void ** buffer)
{

ImemData* imem = (ImemData*)data;
cookie = imem->cookieString;

if(imem == NULL || imem->allBuffered==true) //indicate all data has been get()ted
    return 1;

*buffer = (void*) imem->video;
bufferSize = (size_t*) &(imem->bytes);
imem->allBuffered=true;

return 0;
}

不幸的是，在第一次调用后我收到以下错误:

[0x189cb18] main input debug: Creating an input for 'imem://'
[0x189cb18] main input debug: using timeshift granularity of 50 MiB, in path '/tmp'
[0x189cb18] main input debug: `imem://' gives access `imem' demux `' path `'
[0x189cb18] main input debug: creating demux: access='imem' demux='' location='' file='(null)'
[0x7f2808000e28] main demux debug: looking for access_demux module matching "imem": 20 candidates
[0x7f2808000e28] access_imem demux debug: Using get(0x404e1d), release(0x404e91), data(0x7ffe0da3b940), cookie("h264")
[0x7f2808000e28] main demux debug: no access_demux modules matched
[0x189cb18] main input debug: creating access 'imem' location='', path='(null)'
[0x7f2808001958] main access debug: looking for access module matching "imem": 25 candidates
[0x7f2808001958] access_imem access debug: Using get(0x404e1d), release(0x404e91), data(0x7ffe0da3b940), cookie("h264")
[0x7f2808001958] main access debug: using access module "access_imem"
[0x7f2808000e28] main stream debug: Using block method for AStream*
[0x7f2808000e28] main stream debug: starting pre-buffering
[0x7f2808000e28] main stream error: cannot pre fill buffer
[0x7f2808001958] main access debug: removing module "access_imem"
[0x189cb18] main input warning: cannot create a stream_t from access
[0x17d7298] main libvlc debug: removing all interfaces
[0x17d7298] main libvlc debug: exiting
[0x17d7298] main libvlc debug: no exit handler
[0x17d7298] main libvlc debug: removing stats

出于某种原因，vlc 似乎无法访问视频数据，但错误消息不是很有用，通常指的是网络流而不是内存位置。

有没有人以这种方式成功使用 imem 或对可能出现的问题有任何想法？视频在 VLC 中完美地从磁盘播放。感谢您的帮助。

编辑

看来 Prop 界面可能不支持这样玩。然而，libVLC 提供了 libvlc_media_t 和 livblc_media_new_callbacks 这可能让我实现我想要的。如果它正常工作，我会报告。

Answer 1

所以我无法让 Imem 工作，但是在 VLC 论坛上我被指向了 3.0.0 版中可用的新 API。我必须删除当前安装的 vlc 和 libvlc-dev，并将 VLC 每日构建 PPA 添加到 Ubuntu 安装中，然后安装这些版本。

API 是 libvlc_media_new_callbacks :

LIBVLC_API libvlc_media_t * libvlc_media_new_callbacks
(
    libvlc_instance_t *instance, 
    libvlc_media_open_cb open_cb, 
    libvlc_media_read_cb read_cb, 
    libvlc_media_seek_cb seek_cb, 
    libvlc_media_close_cb close_cb, 
    void *opaque
);

您必须实现这些回调中的每一个才能让 VLC 访问内存中的流。尽管文档指出不需要实现 seek() 回调，但没有它我无法播放 h264 视频。

open() 回调应该传递一个指向您的视频数据的指针，我推荐一个容器类，这样您就可以存储读取的最后一个字节的索引。

read() 回调用于将 len 个字节读入一个缓冲区，该缓冲区将传递一个指针。在这里，您可以将 len 或更少的字节写入缓冲区并返回复制的字节数，阻塞直到准备好一些字节，返回 0 表示 EOF 或 -1 表示错误。

seek() 回调用于设置下一个 read() 将发生的字节索引。

最后 close() 不返回任何东西，用于整理。

这是一个 read() 实现的例子:

class MemVideoData
{
    public:
        MemVideoData(char *data, int data_bytes) : video(data), bytes(data_bytes), lastByteIndex(0) {}   //init
        ~MemVideoData() {}
        char* video;   //pointer to video in memory
        int bytes;
        int lastByteIndex;
};

ssize_t memVideo_read(void *opaque, unsigned char* buf, size_t len)
{
  //TODO: block if not end of stream but no bytes available
  MemVideoData *mVid = (MemVideoData*) opaque;    //cast and give context
  int bytesToCopy=0;
  int bytesSoFar = mVid->lastByteIndex;
  int bytesRemaining = mVid->bytes - mVid->lastByteIndex;
  
  if(bytesRemaining >= len) bytesToCopy = len;   //at least as many bytes remaining as requested
  else if (bytesRemaining < len) bytesToCopy = bytesRemaining;    //less that requested number of bytes remaining
  else return 0;   // no bytes left to copy
  
  char *start = mVid->video;
  std::memcpy(buf,&start[mVid->lastByteIndex], bytesToCopy);    //copy bytes requested to buffer.
  mVid->lastByteIndex = mVid->lastByteIndex + bytesToCopy;    //increment bytes read count
  
  return bytesToCopy;
}

此处请求的是 Open 回调的示例:

int VideoPlayer::memVideo_open(void* opaque, void** datap, uint64_t* sizep)
{
   //TODO: get mutex on MemVideoData object pointed to by opaque
   MemVideoData *mVid = static_cast<MemVideoData*> (opaque); //cast opaque to our video state struct
   *sizep = (uint64_t) mVid->bytesTotal;    //set stream length
   *datap = mVid; // point to entire object. Think this was intended to point to the raw video data but we use the MemVideoData object in read() and seek()
   mVid->lastByteReadIndex=0;
   return 0;
}