windows - 在 .NET 上使用 H.264 编码网络摄像头帧

Question

我想做的是以下过程:

1. 从网络摄像头获取帧。
2. 使用 H264 编码器对其进行编码。
3. 使用我自己的“协议(protocol)”创建一个包含该帧的数据包，以通过 UDP 发送它。
4. 接收并解码...

这将是一个直播。

好吧，我只需要第二步的帮助。我正在使用 AForge 框架检索相机图像。

我不想将帧写入文件然后对其进行解码，我想那会很慢。

我想在内存中处理编码帧，然后创建要发送的数据包。

我需要使用开源编码器。已按照此示例尝试使用 x264

How does one encode a series of images into H264 using the x264 C API?

但它似乎只适用于 Linux，或者至少我在尝试使用 Visual C++ 2010 编译该示例时看到 50 个错误后是这么想的。

我必须明确指出，在写这篇文章之前我已经做了很多研究(阅读了 1 周)，但找不到一种(简单的)方法来做到这一点。

我知道有 RTMP 协议(protocol)，但视频流总是被一个人一次(/？)一次看到，而 RTMP 更倾向于流式传输给许多人。此外，我已经使用我制作的 adobe flash 应用程序进行流式传输，但速度太慢了 ¬¬。

还希望您给我一个建议，是否可以一帧一帧地发送帧，或者是否最好在每个数据包中发送更多帧。

我希望至少有人能给我指出(/在？)正确的方向。

我的英语不好，也许等等抱歉。 :P

PS:不必是 .NET，它可以是任何语言，只要它能在 Windows 上运行。

非常非常感谢。

Answer 1

您可以使用 Microsoft 的 DirectShow 技术尝试您的方法。在 Monogram 上有一个开源 x264 包装器可供下载。 .

如果下载过滤器，则需要使用 regsvr32 向操作系统注册它。我建议做一些快速测试以确定这种方法是否可行，使用 GraphEdit 工具将您的网络摄像头连接到编码器并查看配置选项。

Also would like you to give me an advice about if its ok to send frames one by one or if it would be better to send more of them within each packet.

这实际上取决于所需的延迟:您打包的帧越多， header 开销越少，但延迟也越多，因为您必须等待多个帧被编码才能发送它们。对于直播流，延迟应保持在最低限度，使用的典型协议(protocol)是 RTP/UDP。这意味着您的最大数据包大小限于网络的 MTU，通常需要将 IDR 帧分段并在多个数据包中发送。

我的建议是不要担心在一个数据包中发送更多帧，直到/除非你有理由这样做。这对于音频流来说更常见，因为 header 大小(例如 IP + UDP + RTP)相对于音频有效负载被认为很大。