node.js - 如何在JavaScript中使用ffmpeg将H.264帧解码为RGB帧

Question

我正在尝试将 ffmpeg 编译成 javascript，以便我可以使用 node.js 解码 H.264 视频流。流是打包到 RTP NALU 中的 H.264 帧，因此任何解决方案都必须能够接受 H.264 帧而不是整个文件名。这些帧不能放在 MP4 或 AVI 之类的容器中，因为在进行多路分解之前，多路分解器需要每个帧的时间戳，但我处理的是实时流，没有容器。

通过 RTP 流式传输 H.264

下面是我用来监听 udp 套接字的基本代码。在“消息”回调中，数据包是一个 RTP 数据报。数据报的数据部分是一个H.264帧(P帧和I帧)。

var PORT = 33333;
var HOST = '127.0.0.1';

var dgram = require('dgram');
var server = dgram.createSocket('udp4');

server.on('listening', function () {
    var address = server.address();
    console.log('UDP Server listening on ' + address.address + ":" + address.port);
});

server.on('message', function (message, remote) {
    console.log(remote.address + ':' + remote.port +' - ' + message);
    frame = parse_rtp(message);

    rgb_frame = some_library.decode_h264(frame); // This is what I need.

});

server.bind(PORT, HOST);  

我找到了 Broadway.js库，但我无法让它工作，它不能处理我需要的 P 帧。我还找到了ffmpeg.js ，但可以让它工作，它需要一个完整的文件而不是一个流。同样，fluent-ffmpeg似乎不支持文件流；所有示例都显示了传递给构造函数的文件名。所以我决定编写自己的 API。

我目前的解决方案尝试

我已经能够将 ffmpeg 编译成一个大的 js 文件，但我不能那样使用它。我想围绕 ffmpeg 编写一个 API，然后将这些函数公开给 JS。所以在我看来我需要执行以下操作:

1. 将 ffmpeg 组件(avcodec、avutil 等)编译成 llvm 位码。
2. 编写一个公开解码功能并使用 EMSCRIPTEN_KEEPALIVE 的 C 包装器。
3. 使用 emcc 编译包装器并将其链接到步骤 1 中创建的位码。

我找到了 WASM+ffmpeg , 但它是中文的，有些步骤不清楚。特别是有这一步:

emcc web.c process.c ../lib/libavformat.bc ../lib/libavcodec.bc ../lib/libswscale.bc ../lib/libswresample.bc ../lib/libavutil.bc \

:(我认为我卡住了

我不明白所有的 ffmpeg 组件是如何编译成单独的 *.bc 文件的。我按照那篇文章中的 emmake 命令操作，最后得到一个大的 .bc 文件。

2个问题

1. 有谁知道使用 emscripten 编译 ffmpeg 的步骤，以便我可以向 javascript 公开一些 API？
2. 有没有更好的方法(有不错的文档/示例)使用 Node 解码 h264 视频流？

Answer 1

第一个问题:关注官方即可doc

Consider the case where you normally build with the following commands:

./configure
make

To build with Emscripten, you would instead use the following commands:

# Run emconfigure with the normal configure command as an argument.
./emconfigure ./configure

# Run emmake with the normal make to generate linked LLVM bitcode.
./emmake make

# Compile the linked bitcode generated by make (project.bc) to JavaScript.
# 'project.bc' should be replaced with the make output for your project (e.g. 'yourproject.so')
#  [-Ox] represents build optimisations (discussed in the next section).
./emcc [-Ox] project.bc -o project.js

对于问题2:在node环境下可以调用c/c++ libs。您可以编写一些 c/c++ 胶水代码或使用像 node-ffi 这样的代理 Node 模块。 .

使用 node-ffi 调用现有库可能更容易。可能会有所帮助:)