xcode - 如何实时录制 MacOS 屏幕并处理图像

Question

我想录制完整的 macOS 屏幕，并对图像做不同的事情，比如

• 计算不同区域的平均颜色
• 重新渲染在 NSPanel 或 NSWindow 中模糊的部分屏幕

现在我正在像这样使用 AVCaptureScreenInput

let input = AVCaptureScreenInput(displayID: CGMainDisplayID())!
avCaptureSession.addInput(input)
let output = AVCaptureVideoDataOutput()
avCaptureSession.addOutput(output)
output.setSampleBufferDelegate(self, queue: .main)
self.avCaptureSession.startRunning()

这种方法的问题是图像的帧率似乎很低，我想达到 30fps+。

在 macOS 上实现这些目标的好方法是什么。一方面是图像的“快速”获取，另一方面是捕获图像的实时处理/重新渲染。

问题#1

上述捕获 session 的解决方案会导致 Not Acceptable 延迟。这意味着当移动窗口时，响应渲染延迟超过 100 毫秒。我想实时了解。

Answer 1

AVCaptureScreenInput 是后窗口合成，因此您将捕获并转换您自己的效果，这可能不是您想要的。

最接近您可能想要的是 CGWindowListCreateImage API，它允许您排除窗口，包括您自己的窗口，但是它不是一个理想的“实时”界面，因为 CGImage 输出没有时间戳，不能免费桥接到纹理。