gpt4 book ai didi

hadoop - 使用 Hadoop Streaming 进行图像和视频检测

转载 作者:行者123 更新时间:2023-12-02 22:07:48 25 4
gpt4 key购买 nike

我们目前正在进行一个项目,我们希望在大约 80-100 个 Linux 服务器的集群上执行图像/视频检测算法。我们搜索了可能的软件工具,并认为 Hadoop 是一种可能的解决方案。我在 VMWare Image 上安装了 Hadoop 作为主/从配置,并且能够通过 Hadoop 流执行用 C++ 编写的分析程序。由于分析算法的性质,我们无法将大约 1GB 大小的视频文件分割成多个片段。由于 Hadoop Map/Reduce 通过将输入文件划分为 64MB-128MB 的分割并将程序分配给分割所在的相应节点(数据局部性)来工作,因此我无法使程序在从节点上运行,而只能在主节点上运行。因此,此时我们可以让 Hadoop 流式执行基于节点可用性(CPU 等)的程序,而不是在节点上拆分位置吗?
我想知道 Hadoop 是否是执行图像/视频检测算法的正确工具?有没有更好的解决方案可能是 Apache Mesos/Spark 等。

真挚地

最佳答案

我们对上述问题进行了一些研究,我们得出的结论是,对于我们的案例,即只是为特定视频文件运行分析模块,hadoop/spark 实现将是一种矫枉过正,并从反面显示耳朵。更好的实现将是利用开源 MPI/Scheduler 应用程序。经过分析,即使开发在多个节点上运行的作业调度程序似乎也相当容易,并且可以在相对 2-3 个月的时间内开发出来

真挚地

关于hadoop - 使用 Hadoop Streaming 进行图像和视频检测,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/33808145/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com