memory - FFMPEG 吃掉所有内存

Question

可能是最陈词滥调的问题之一，但问题是:所以我有一个 Ubuntu 服务器作为独立机器运行，仅用于处理 FFMPEG 作业。它有 4 个 vCPU、4GB RAM、80GB 存储空间。我目前正在使用此脚本将视频转换为 HLS 播放列表:https://gist.github.com/maitrungduc1410/9c640c61a7871390843af00ae1d8758e这适用于所有视频，包括从 iPhone 录制的 4K。但是，我正在尝试添加水印，因此我更改了此脚本的第 106 行

来自:

cmd+=" ${static_params} -vf scale=w=${widthParam}:h=${heightParam}"

到:

cmd+=" ${static_params} -filter_complex [1]colorchannelmixer=aa=0.5,scale=iw*0.1:-1[wm];[0][wm]overlay=W-w-5:H-h-5[out];[out]scale=w=${widthParam}:h=${heightParam}[final] -map [final]"

现在，这在来自 Youtube 或其他来源的视频中完美运行，但一旦我尝试使用来自 iPhone 的 4K 视频，RAM 使用量在不到一分钟的时间内从 250MB 增长到 3.8GB，并导致整个过程崩溃。所以我寻找了一些类似的问题:

1. FFmpeg Concat Filter High Memory Usage
2. https://github.com/jitsi/jibri/issues/269
3. https://superuser.com/questions/1509906/reduce-ffmpeg-memory-usage-when-joining-videos
4. ffmpeg amerge Error while filtering: Cannot allocate memory

我了解 FFMPEG 需要大量内存消耗，但我不确定在不将流保存在内存中而是实时释放任何内存分配的情况下处理视频的确切方法是什么。即使我们决定在没有水印的情况下工作，它仍然会挂起大约 1.8GB 的​​ RAM 来处理 5 秒的 4K 视频，这会产生如果我们的用户上传的视频比它最终导致服务器崩溃的风险。我曾考虑过 ulimit 但这似乎是限制 FFMPEG 而不是编写改进的命令。让我知道如何解决这个问题。谢谢

Answer 1

好的，我找到了解决方案。问题是 4K 视频具有极高的比特率，它会加载到您的 RAM 上以处理 filter_complex 最终会杀死您的进程。为了解决这个问题，我做的第一件事是将输入视频转码为 H264 格式(如果你愿意，你可以设置自定义比特率，但我忽略了那个)。所以我在这个脚本的第 58 行之后添加了这个新命令 https://gist.github.com/maitrungduc1410/9c640c61a7871390843af00ae1d8758e

ffmpeg -i SOURCE.MOV -c:a aac -ar 48000 -c:v libx264 -profile:v main -crf 19 -preset ultrafast /home/myusername/myfolder/out.mp4

现在我们有了一个新处理的 out.mp4。我们将沿着脚本行 121 删除它。这样做的原因是为了阻止 FFMPEG 一次重载所有命令。现在我们将删除第 107 到 109 行并执行以下操作:

filters=[1]colorchannelmixer=aa=0.5,scale=iw*0.1:-1[wm];[0][wm]overlay=W-w-5:H-h-5[out];[out]scale=w=${widthParam}:h=${heightParam}[final]
cmd=""
cmd+=" ${static_params} -filter_complex ${filters} -map [final]"
cmd+=" -b:v ${bitrate} -maxrate ${maxrate%.*}k -bufsize ${bufsize%.*}k -b:a ${audiorate}"
cmd+=" -hls_segment_filename ${target}/${name}_%03d.ts ${target}/${name}.m3u8"
ffmpeg ${misc_params} -i /home/myusername/myfolder/out.mp4 -i mylogo.png ${cmd}

所以现在我们在循环中运行 FFMPEG 来处理基于分辨率的输出。这将立即消除内存中所有过滤器的过载。根据您的用例，您甚至可能想要删除第 53 行。

测试

1. 1.2 分钟长 (453MB) 的 4K HEVC iPhone 视频

• 转码为 H264 - 内存使用量保持在 750MB
• HLS + 水印 - 内存使用量保持在 430MB 到 1.1GB 之间

1. 1.13 分钟长 (448MB) 的 4K HEVC LG HDR 视频

• 转码为 H264 - 内存使用量保持在 800MB
• HLS + 水印 - 内存使用量保持在 380MB 到 850MB 之间

我的最终想法

1. FFMPEG 是一个吃力的人。核心/内存要求的总数主要取决于您要处理多少视频。就我而言，我们只想支持高达 500MB 的视频，因此我们对 4K 视频处理的测试符合需求，但如果您有更大的视频需求，那么您必须使用更多的 RAM/CPU 内核进行测试
2. 并行运行 FFMPEG 绝不是一个好主意。批量处理视频将确保最佳利用可用资源并减少在半夜破坏系统的机会
3. 始终在远离网络服务器、数据库、邮件服务器等的隔离机器上运行 FFMPEG
4. 增加资源并不总是解决办法。虽然我们倾向于首先得出结论，更多资源 === 更多稳定性并不总是正确的。我已经阅读了足够多的帖子，说明即使是 32 核的 64GB Ram 也无法跟上 FFMPEG，所以你最好的选择是首先改进你的命令或将命令分离成更小的命令，以尽可能有效地处理资源

我不是 FFMPEG 方面的专家，但我认为这些信息会对可能有类似问题的人有所帮助。