hadoop - 视频数据结构和处理的基本概念

Question

首先为我的英语感到抱歉。我不是母语人士。请耐心等待。

视频文件包含大量压缩图像，并以某种预定义的速率播放。当然，这是一个简单而简短的描述。我需要制作一个分布式应用程序来处理 Hadoop 集群中的视频以应用视频过滤器。我的问题是:是否有必要解压缩所有图像中的视频并将过滤器应用于所有图像，或者有更智能的方法来执行此操作以减少处理时间？

谢谢。

Answer 1

我想即使是一篇文章也不足以涵盖您任务的各个方面。我设法解决类似任务的方法是在 Hadoop 中使用 Storm 框架。该服务提供了一种分布式机制来实时传输您的数据。每条数据都通过称为 Topology 的工作流进行处理，该工作流由一组称为 spouts 的源和称为 bolts 的逻辑单元组成。因此，对于您的情况，您可以将视频流式传输到喷口，然后将其发送到某个过滤 bolt 。该单元可以使用OpenCV封装一些视频处理逻辑。例如图书馆。您可以使用 FrameGrabber解析您的视频或视频 block 并执行某些过滤步骤。另一种选择是整合 ffmpeg 的使用直接进入 Storm bolt 。但这将需要一些额外的步骤 generating为您的特定环境使用必要的编解码器构建正确的 ffmpeg。这些是您可能可以作为起点的内容。