objective-c - Mac OS X 等同于 DirectShow、GraphEdit

Question

Mac OS X 新手，熟悉 Windows。 Windows 具有 DirectShow、大量内置过滤器、COM 编程和 GraphEdit，可用于非常快速的原型(prototype)设计和窥探您在代码中构建的图形。

我现在要转到 Mac 上使用相机、网络摄像头、麦克风、色彩空间、文件、拆分、同步、渲染、文件读取、文件保存，以及许多我想要做的事情在将应用程序放在一起进行现场表演时授予 DirecShow。在 Mac 方面，到目前为止我发现……什么都没有!要么我不知道去哪里看，要么我正处于最艰难的时期，将 Mac 以其易于处理媒体的声誉与连贯的编程能力联系起来，进入那里并开始搞乱媒体操纵的构建 block 。

我看到一些关于使用 gstreamer 或 QT 库的弱建议，但我无法让自己相信这是 Apple 的方式。我看过一些 QuickTime 文档，但我不想做过渡、 Sprite 、广播……

在 DirectShow 上训练大脑意味着我什至不知道 Apple 如何考虑提供类似 DirectShow 的功能。这意味着我不知道正确的关键字，甚至不知道去哪里找。图书？买了几个。现在我也许可以编写一些代码来编辑你姐姐的婚礼视频(如果我不能在这个主题上取得不错的进展，我接下来可能会问这对你有什么值(value))，但要确定哪些过滤器可用以及如何将它们串在一起……没什么。有什么建议吗？

Answer 1

目前，Mac 上的视频处理正在经历巨大的转变。 QuickTime 非常古老，但又大又强大，因此在过去 5 年左右的时间里，它一直在进行增量替换过程。

也就是说，QTKit是 future 支持的 QuickTime 子集(捕获、回放、格式转换和基本视频编辑)。遗留的 QuickTime API 目前仍然存在，并且可能至少会保留到它的主要功能在其他地方可用，但仅限 32 位。对于一些涉及的视频内容，您可能最终需要在某些地方使用它。

目前，iOS 领先于 Mac，因为它可以从头开始 AV Foundation . Mac 媒体框架的 future 可能直接是 AV Foundation(QTKit 是顶部的轻量级垫片)或看起来非常相似的 QTKit 扩展。

对于音频，Mac 和 iOS 上有 Core Audio，而且不会很快消失。它非常强大，但有些地方有些迟钝。幸运的是在线支持非常好； mailing list是必不可少的资源。

对于过滤器和帧级处理，您有 Core Video正如其他人提到的，以及Core Image .对于动态图形，有 Quartz Composer其中包括一个图形编辑器和一个插件架构，用于添加您自己的补丁。对于程序化动画和轻松混合渲染模型(OpenGL、Quartz、视频等)，有 Core Animation .

除了所有这些之外，当然，您没有理由不能使用开源库，因为内置的东西不能满足您的需求。

---

在下面解决您的评论:

在 QuickTime(和 QTKit)中，像音频和视频这样的独立数据类型被表示为轨道。 QuickTime 可以打开音频和视频文件格式这一点可能不是很清楚。组合音频和视频的常见方法是:

1. 使用您的视频文件创建一个QTMovie。
2. 使用您的音频文件创建一个QTMovie。
3. 获取表示音频的 QTTrack 对象，并将其添加到包含视频的 QTMovie 中。
4. 展平电影，使其不只是包含对另一部电影的引用，而是实际包含音频数据。
5. 将电影写入磁盘。

Here's an example from Blender .您将在 end_qt 中看到 A/V 多路复用是如何完成的。功能。其中还使用了 Core Audio (AudioConverter*)。 (quicktime_export.c 中有一些经典的 QuickTime 导出代码，但它似乎不支持音频。)