ios - WebRTC iOS : Filtering camera stream from RTCCameraVideoCapturer. 从 RTCFrame 到 CVPixelBuffer 的转换

Question

我发现下面的 git 通过使用 RTCVideoCapturerDelegate 的 func capturer(_ capper: RTCVideoCapturer, didCapture frame: RTCVideoFrame) 简单高效。你得到RTCVideoFrame，然后转换成CVPixelBuffer进行修改。

https://gist.github.com/lyokato/d041f16b94c84753b5e877211874c6fc

但是，我发现 Chronium 说获取 PixelBuffer 的 nativeHandle 不再可用(链接如下)。我尝试了 frame.buffer.pixelbuffer...，但是，查看 framework > Headers > RTCVideoFrameBuffer.h，我发现 CVPixelBuffer 也从这里消失了!

https://codereview.webrtc.org/2990253002

RTCVideoFrame转CVPixelBuffer有什么好的方法吗？或者我们是否有更好的方法来修改从 RTCCameraVideoCapturer 捕获的视频？

下面的链接建议直接修改 sdk，但希望我们可以在 Xcode 上实现。

How to modify (add filters to) the camera stream that WebRTC is sending to other peers/server

Answer 1

您能具体说明您的期望是什么吗？因为您可以很容易地从 RTCVideoframe 获取像素缓冲区，但我觉得如果您想过滤视频缓冲区比发送到 Webrtc 有更好的解决方案，您应该使用 RTCVideoSource。

你可以用 as seen

    RTCCVPixelBuffer *buffer = (RTCCVPixelBuffer *)frame.buffer;
    CVPixelBufferRef imageBuffer = buffer.pixelBuffer;

(仅适用于最新的 SDK 和本地摄像机缓冲区)

但在示例中我可以看到过滤器不适用于远程。

我附上了屏幕截图，这也是您查看预览的方式。