html - 如何访问 HTML5 视频解码功能？

Question

HTML5 有 <video/>从服务器下载视频、解码并呈现的元素。他们通常(如果不总是)使用硬件加速解码(如果可用)。

是否可以只访问解码功能？原因是我使用的是自定义流媒体协议(protocol)，因此在客户端我有需要解码和呈现的编码视频流。

不幸的是，视频解码器的纯 JavaScript 实现并不适用，因为它们无法提供足够的性能。我只对 HVEC 或 h.264 编解码器感兴趣。

Answer 1

Is it possible to access just decoding functionality?

不幸的是没有。我们只能访问处理流/源文件不可知的高级 API，其影响有限，例如基于时间的位置、播放状态和各种事件。我们可以将当前解码帧中的原始 RGB(A) 帧绘制到 Canvas 上，但仅此而已。

The reason is that I'm using custom streaming protocol and so on client side I have encoded video stream that I need to decode and render

您没有描述此协议(protocol)，所以我们只能猜测，但您可以使用 Media Source Extensions 构建可由视频元素使用的浏览器兼容流.这使您可以直接在客户端构建自适应和自定义流式处理解决方案。

Pure JavaScript implementations of video decoder are not applicable unfortunately as they cannot provide sufficient performance.

这不一定是真的。例如，纯 JS 实现实时解码 MPEG1 流，包括音频和视频，例如 this和 this .当然，这在大多数浏览器目前所能做的事情的极限上起作用。还有一个 emscripten based H-264可用的解码器似乎也通过 WebGL 使用 GPU，但我不能说它的性能 - 虽然它可能是下一段的一个很好的起点:

更好的选择是查看 WebAssembly它可以从例如 C/C++ 源代码运行预编译的二进制代码。这允许您使用在浏览器中以 native 速度运行的 HVEC/H.264 解码器的开源实现(尽管要注意许可证和条款，especially for H.264)，或使用软件的一部分，例如 (linkable) ffmpeg .

I'm interested in any even non-portable solution

在那种情况下，您可能想研究构建一个 web-extension (又名浏览器扩展)可以使用 messaging to interact with native application (在这种情况下，后者可能是 ffmpeg，或者可以直接处理流的程序)。

具体如何工作当然取决于您使用的协议(protocol)等。

根据有限的范围/描述，只需我的 2 美分。