javascript - nodejs ffmpeg在特定时间播放视频并将其流式传输到客户端

Question

我正在尝试使用nodeJS和ffmpeg制作一个基本的在线视频编辑器。

为此，我需要两个步骤:

1. 设置客户端视频的进出时间，要求客户端在特定的时间观看视频，并切换视频的位置。这意味着，如果使用单个视频作为输入，并将其分割成更小的部分，则需要从下一个编辑片段的开始时间重播(如果有意义的话)。

2. 将输入输出数据发送到nodejs并使用ffmpeg导出为成品视频。

一开始我想做1.纯粹在客户端，然后将源视频上传到nodeJS，并使用ffmpeg生成相同的结果，然后将结果发送回来。

但是目前 HTML 客户端的视频处理可能存在问题，所以现在我改变计划:在 NodeJS 服务器上进行所有处理，包括视频播放。

这是我现在陷入困境的部分。我知道 ffmpeg 可以通过 nodeJS 以多种不同的方式使用，但是我还没有找到一种方法来使用 ffmpeg 在特定时间戳实时播放 .mp4 webm 视频，并发送流视频(再次) ，在某个时间戳)到客户端。

我已经看到了 ffmpeg 中的 pipeline:1 属性，但我找不到任何教程来让它与 mp4 webm 视频一起工作，并使用 nodejs 以某种方式解析 stdout 数据并将其发送到客户端。即使我能让这部分工作，我仍然不知道在某个时间戳实时播放视频。

我也见过ffplay，但据我所知这仅用于测试；我还没有看到任何使用nodejs从中实时获取视频数据的方法。

所以:

如何在特定时间(最好使用 ffmpeg)在 NodeJS 中播放视频，并将其实时发送回客户端？

我已经看到的:

Best approach to real time http streaming to HTML5 video client

Live streaming using FFMPEG to web audio api

Ffmpeg - How to force MJPEG output of whole frames?

ffmpeg: Render webm from stdin using NodeJS

No data written to stdin or stderr from ffmpeg

node.js live streaming ffmpeg stdout to res

Realtime video conversion using nodejs and ffmpeg

Pipe output of ffmpeg using nodejs stdout

can't re-stream using FFMPEG to MP4 HTML5 video

FFmpeg live streaming webm video to multiple http clients over Nodejs

http://www.mobiuso.com/blog/2018/04/18/video-processing-with-node-ffmpeg-and-gearman/

stream mp4 video with node fluent-ffmpeg

How to get specific start & end time in ffmpeg by Node JS?

Live streaming: node-media-server + Dash.js configured for real-time low latency

Low Latency (50ms) Video Streaming with NODE.JS and html5

Server node.js for livestreaming

HLS Streaming using node JS

Stream part of the video to the client

Video streaming with HTML 5 via node.js

Streaming a video file to an html5 video player with Node.js so that the video controls continue to work?

How to (pseudo) stream H.264 video - in a cross browser and html5 way?

Pseudo Streaming an MP4 file

How to stream video data to a video element?

How do I convert an h.264 stream to MP4 using ffmpeg and pipe the result to the client?

https://medium.com/@brianshaler/on-the-fly-video-rendering-with-node-js-and-ffmpeg-165590314f2

node.js live streaming ffmpeg stdout to res

Can Node.js edit video files?

Answer 1

这个问题有点宽泛，但我已经构建了类似的东西，并将尝试为您逐个回答这个问题:

1. set the in-and-out times of the videos from the client, which requires the client to view the video at specific times, and switch the position of the video. Meaning, if a single video is used as an input, and split it into smaller parts, it needs to replay from the starting time of the next edited segment, if that makes sense.

客户端，当您播放时，您可以简单地使用引用相同 URL 的多个 HTMLVideoElement 实例。

对于时间，您可以使用 .currentTime 属性自行管理。然而，您会发现您的 JavaScript 时机并不完美。如果您在实例化时知道开始/结束点，则可以使用 Media Fragment URIs :

video.src = 'https://example.com/video.webm#t=5.5,30';

在此示例中，视频从 5.5 秒开始，到 30 秒停止。您可以使用 ended event了解何时开始播放下一个剪辑。这不能保证帧完全准确，但对于实时预览等功能来说非常有用。

But there are may problems with video processing on the client side in HTML at the moment, so now I have a change of plans: to do all of the processing on the nodeJS server,...

如果一致性很重要的话，这不是一个糟糕的计划。

... including the video playing.

就控制视频的延迟和预览质量而言，您在这里需要进行认真的权衡。我建议采用一种混合方法，其中编辑在客户端完成，但最终的弹跳/合成/其他操作在服务器端完成。

无论如何，这与桌面视频编辑软件的工作原理没有什么不同。

This is the part I am stuck at now. I'm aware that ffmpeg can be used in many different ways from nodeJS, but I have not found a way to play a .mp4 webm video in realtime with ffmpeg, at a specific timestamp, and send the streaming video (again, at a certain timestamp) to the client.

是 MP4 还是 WebM？这是两种不同的容器格式。 WebM 很容易进行流式传输，直接从 FFmpeg 中通过管道传输。 MP4 需要使用 MOOV 原子 (-movflags faststart)，并且可能会有点麻烦。

无论如何，听起来您只需要在输入上设置时间戳即可:

ffmpeg -ss 00:01:23 -i video.mp4 -to 00:04:56 -f webm -

I've seen the pipe:1 attribute from ffmpeg, but I couldn't find any tutorials to get it working with an mp4 webm video, and to parse the stdout data somehow with nodejs and send it to the client.

只需使用连字符 - 作为输出文件名，FFmpeg 就会输出到 STDOUT。然后，您无需在 Node.js 应用程序中执行任何其他操作...将输出直接传送到客户端。未经测试，但您正在寻找类似的东西，假设有一个典型的 Express 应用程序:

app.get('/stream', (req, res, next) => {
  const ffmpeg = child_process.spawn('ffmpeg', [
    '-i', 'video.mp4',
    '-f', 'webm',
    '-'
  ]);

  res.set('Content-Type', 'video/webm'); // TODO: Might want to set your codecs here also

  ffmpeg.stdout.pipe(res);
});

And even if I could get that part to work, I still have no idea to play the video, in realtime, at a certain timestamp.

好吧，为此，您只需播放一个流，因此您可以执行以下操作:

<video src="https://your-nodejs-server.example.com/stream" preload="none" />

preload="none" 部分很重要，可以保持其“实时”。

所有这一切的替代方法是设置 GStreamer管道，并且可能利用其内置的 WebRTC 堆栈。这并非微不足道，但具有潜在的较低延迟以及自动处理“ catch ”来自服务器的实时视频的优点。如果您使用普通的视频标签，则必须通过监视缓冲数据并管理播放速度来自行处理。

I've also seen ffplay...

FFplay 与您的项目无关。

希望这堆笔记能为您提供一些值得考虑和查看的内容。