ffmpeg - 使用带有叠加网络摄像头的 ffmpeg 的 kmsgrab 设备记录 Linux Wayland/DRM 屏幕

Question

安装程序是 Linux，使用 kabylake iGPU 的 ffmpeg。

我正在捕获一个正在运行的 sway使用 kmsgrab 的实例设备，它需要使用硬件后端来连贯地处理我的硬件上的图像。只有 VA API 符合此要求。我想在编码期间覆盖右下角的网络摄像头。然而，试图操纵过滤器图来实现这一点的尝试并不成功。这最终适用于 Twitch/Tube 流。

现在，我实际上正在将网络摄像头捕获到一个 sdl 窗口，并使用 ffmpeg 的单独实例简单地记录屏幕。 .这实际上并不能解决我的问题，因为该窗口很容易被工作区切换或其他窗口伪装。

这是解决方法:

#!/usr/bin/env zsh

# record webcam and open it in sdl window
ffmpeg -v quiet -hide_banner \
  -re -video_size 640X480 -hwaccel vaapi -vaapi_device /dev/dri/renderD128 -i /dev/video0 \
  -vf 'format=nv12,hwupload' -c:v hevc_vaapi -f hevc - \
  | ffmpeg -v quiet -i - -f sdl2 - &

# wait for webcam window to open
until swaymsg -t get_tree | grep 'pipe:' &>/dev/null; do
  sleep 0.5
done

# position webcam in the bottom right corner of screen using sway
swaymsg floating enable
swaymsg resize set width 320 height 240
swaymsg move position 1580 795
swaymsg focus tiling

#screencast
ffmpeg -format bgra -framerate 60 -f kmsgrab -thread_queue_size 1024 -i - \
  -f alsa -ac 2 -thread_queue_size 1024 -i hw:0 \
  -vf 'hwmap=derive_device=vaapi,scale_vaapi=w=1920:h=1080:format=nv12' \
  -c:v h264_vaapi -g 120 -b:v 3M -maxrate 3M -pix_fmt vaapi_vld -c:a aac -ab 96k -threads $(nproc) \
  output.mkv

kill %1

Answer 1

瞬间，这可能是不可能的。

它看起来像 ffmpeg 中的限制的 vaapi 后端。我注意到英特尔的 QuickSync 后端有一个 overlay_qsv过滤器，但没有等效的 overlay_vaapi .

理论上，可能存在使用hwdownload 将硬件表面下载到软件缓冲区的机制。在 hevc_vaapi 中编码后过滤以便使用软件overlay过滤器在编码的最后阶段进行叠加。我暂时将其保持开放状态，看看是否有人可以为此提供帮助或对此主题有更多了解。

关于 QuickSync 的注意事项:

在使用 QuickSync 支持构建并尝试使用它之后，它似乎缺乏从 kmsgrab 导出表面的能力。设备导致 function not implemented来自 ffmpeg 的错误.