ruby-on-rails - 使用 map-reduce 进行视频转换

Question

我有一个 Ruby on Rails 应用程序，用户可以在其中上传视频，我正在寻找一个系统来将用户上传的视频转换为 FLV 格式。

目前我们正在使用 FFMPEG 并且由于视频转换是一项繁重的任务，它似乎需要花费大量时间和大量 CPU 资源..

我们正在研究是否可以使用 map-reduce/Hadoop 框架来实现视频转换，因为它是完全分布式的。

使用map-reduce进行实时视频转换是不是一个好的选择？如果是这样，如何实现？

注意:每个视频文件大小约为 50 - 60 MB。

Answer 1

您的要求是“实时”转换。请记住，Hadoop 是一个“批处理框架”。

恕我直言，我认为 Hadoop 在这里是一个糟糕的选择。更好的解决方案肯定是使用类似 Storm 的东西:

Apache Storm is a free and open source distributed realtime computation system. Storm makes it easy to reliably process unbounded streams of data, doing for realtime processing what Hadoop did for batch processing.

就我个人而言，我使用 Storm 实现了一个与您类似的项目，结果非常棒。

另一种选择是使用分布式 Actors 模型，例如 Akka.io 或 Erlang。但由于您是 Ruby 商店，Storm 或 Akka 对您的团队来说会更容易。