video-streaming - Media Foundation H264 硬件编码器中的锯齿/质量问题，尤其是文本(文本上的锯齿和模糊)

Question

我一直在研究使用硬件加速的 h.264 编码和解码流式传输实时视频，并且我已经能够使用 Windows Media Foundation 使其工作。
我使用 d3d11 视频处理器将帧从 RGB 压缩为 NV12 格式，并使用硬件 MFT 编码为 h.264。
我现在唯一的问题是在解码和渲染视频后，锯齿和光晕效果与文本一起出现在屏幕上。
下面的图片显示了我的问题。
编码前的帧

编解码后的帧

经过一番研究，我遇到了 H.264/AVC 444其中微软通过引入带有 RDP 10 的全屏 AVC 444 模式解决了这个问题。
在 AVC 444 模式下，通过显着提高帧吞吐量，我们可以使用 4:2:0 硬件编码器/解码器获得 4:4:4 质量的文本。

Introducing the AVC 444 mode The main challenge to use AVC/H.264 as the one and only Codec in Remote Desktop scenarios is that text shows a halo effect with typical implementations of AVC/H.264. This is caused by the color conversion process that happens as part of the compression which throws away some of the chrominance information, as represented in the 4:2:0 format. To the human eye the lack of chrominance information is not as apparent with video content, however with Remote Desktop scenarios, where mostly text is used, it is something that is noticeable and users will perceive this as blurry. The AVC/H.264 standard defines the capability to use 4:4:4 format which doesn’t lose the chrominance during conversion, however typically this isn’t part of most AVC/H.264 hardware encoder and decoder implementations and thus provides a challenge. To show the difference between 4:4:4 and 4:2:0 please see the following image which shows easily noticeable differences:

我试图在 Media Foundation 中实现相同的目标，但尚未找到任何资源来破解它。
我发现颜色转换为 NV12 是这个问题背后的原因，我一直在努力解决它，我也尝试过 YUV 444，但找不到支持它的硬件 MFT。我无法使用硬件 MFT 编码除 NV12 之外的任何其他颜色格式
有什么办法可以克服这个问题吗？任何帮助将不胜感激。

Answer 1

您可以使用屏幕截图优化的编解码器:
https://docs.microsoft.com/en-us/windows/win32/medfound/usingthewindowsmediavideo9screencodec

NVIDIA 支持 4:4:4 硬件，支持多种卡:
https://developer.nvidia.com/video-encode-decode-gpu-support-matrix

将屏幕从 1920x1080 缩放到 3840x2160 转换为 NV12 (4:2:0) 压缩到 H.264，然后在接收器上执行相反的操作。放大和随后的 4:2:0 转换应保留全彩色分辨率。这听起来很浪费，但如果它是在硬件上完成的，它应该可以工作。