objective-c - AVFoundation 的 AVAssetWriterInput expectsMediaDataInRealTime 属性究竟做了什么？

Question

我正在开发一个从磁盘读取媒体数据的应用程序，将其转换为适当的像素格式，然后将其传递给 AVAssetWriter 进行压缩并写入磁盘。我正在做我自己的阅读交错而不是使用 AVAssetReader。我的阅读器确保以串行方式准确呈现一帧的视频数据和一帧的音频数据。我遇到的问题是，如果我不将 expectsMediaDataInRealTime 属性设置为 YES，视频 Assets 编写器将始终在恰好 30 帧后为 isReadyForMoreMediaData 返回 NO。如果我在 30 帧之前停止写入，它工作正常并且输出文件有效。但是，如果我将 expectsMediaDataInRealTime 设置为 YES，它会在整个持续时间内完美运行，可能是几千帧。在将 expectsMediaDataInRealTime 设置为 YES 开始转码操作后，我观察了应用程序在压缩一个很长的视频过程中的内存使用情况，没有任何不合理的内存使用，也没有任何内存泄漏。生成的 MOV 文件看起来确实写得相当正常，例如正如人们所期望的那样，音频数据与视频数据交织在一起。

那么，如果将 expectsMediaDataInRealTime 设置为 YES 没有明显的缺点，我为什么要将其设置为 NO？这仅适用于使用 Apple API 读取数据(使用 AVAssetReader)吗？文档说此属性控制“以理想的交错模式写入媒体数据以提高存储和播放效率”，但是当将 expectsMediaDataInRealTime 设置为 YES 时，isReadyForMoreMediaData 永远不会返回 NO，并且文件似乎写入完美。那么，如果 AVAssetWriter 可以在这个属性设置为 YES 时执行此操作，为什么在设置为 NO 时它不能执行此操作？来源完全相同。

除了“确保适当计算 readyForMoreMediaData 的值”(这对我来说完全没有意义)之外，这个属性究竟做了什么？

Answer 1

据我了解，将 expectsMediaDataInRealTime 设置为 YES 意味着编码器正在等待实时数据流馈送，例如相机等。在这种情况下，您将不断向编码器馈送数据，isReadyForMoreMediaData 会告诉您是否可以将数据馈送到编码器。如果 isReadyForMoreMediaData 为 NO，您将不得不放弃当前样本，等待下一个样本到达并再次检查 isReadyForMoreMediaData 是否为 YES。

另一方面，如果 expectsMediaDataInRealTime 为 NO，则意味着编码器不是采用实时源，而是采用离线数据流，例如 AVAssetReader。在这种情况下，因为你可以自己控制流速，所以当isReadyForMoreMediaData为NO时，你可以保持输入和编码器等待isReadyForMoreMediaData变为YES(例如，使用无限循环休眠等待isReadyForMoreMediaData变化等)。

我假设这样做的目的是为了一种内部机制尝试尽可能对齐地交错音频和视频时间戳，因此，播放器、解码器不会采用预取方式来播放大量数据。它是数据源端数据完整性和播放端体验之间的折衷。虽然，我想您可以一直将 expectsMediaDataInRealTime 设置为 YES，但最好丢弃早期的样本，以防 isReadyForMoreMediaData==NO。