ios - 流式传输视频的更好方式

Question

目前我正在使用 AVFoundation 从 iPhone 摄像头抓取帧，然后将它们转换为 UIImage 然后通过我发送的 NSOutputStream 传输它它到我的其他设备。

不幸的是，当内存一度达到 300mb 时，我很可能会因为内存过多而崩溃。

我的问题: 是否有更好的方法或其他方法可以避免崩溃或减少发送图像和打开图像之间的延迟另一个设备？或者我能否将其制作成生活流，几乎就像接收设备上的视频一样？

    - (void)captureOutput:(AVCaptureOutput *)captureOutput
    didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer
           fromConnection:(AVCaptureConnection *)connection
    {

        @autoreleasepool {


        UIImage *image = [self imageFromSampleBuffer:sampleBuffer]; 

        [_room broadcastChatMessage:image fromUser:@"self"];

             dispatch_async(dispatch_get_main_queue(), ^(void){
                 [_imgView setImage:image];
             });

        }   
        // < Add your code here that uses the image >
    }

Answer 1

从 iOS 设备流式传输视频的最佳选择之一是录制 H264 视频并从磁盘上的电影文件中提取 NAL 单元(它们代表帧的切片)(使用 AVFoundation ) 并使用您选择的协议(protocol)通过网络发送它们。您可以在 https://github.com/jamesghurley/VideoCore/blob/master/transforms/iOS/H264Encode.mm 看到一个实际的例子。 .使用这种技术的延迟非常低。

然而，在另一台 iOS 设备上播放该内容是……复杂的。您可以使用 FFMpeg 实时播放它，或者如果您可以接受一些延迟(3-4 秒)，您可以设置 HTTP 代理并通过 HLS 为 NAL 单元提供服务。这也是一个复杂的过程，但可能有一个库可以做到这一点。

编辑:稍微更新一下这个答案。 iOS 8 中现在有一个名为 AVSampleBufferDisplayLayer 的类，它可以直接将 H.264 NAL 单元作为输入。