gpt4 book ai didi

hadoop - 在集群中分布单个进程的最佳方法

转载 作者:行者123 更新时间:2023-12-02 21:53:09 24 4
gpt4 key购买 nike

我是集群计算的新手,并且想了解更多有关集群计算所使用的各种软件的信息,这对于特定的任务是最好的。特别是,我要解决的问题涉及一个Manager / Workers类型的场景,其中一个Manager负责创建100至1000的工作。每个作业虽然相对较大,但必须逐帧执行。即经理将告诉每个工作“提前一帧并报告给我”。单个帧的执行将非常小,因此Manager和辅助计算机之间的延迟必须非常小,大约为微秒。

谢谢!任何信息都将不胜感激,即使是与我描述的情况都不完全相符的信息,也只是为了作为起点。到目前为止,我已经研究了Hadoop,HTCondor和Akka。

最佳答案

由于通信延迟对您很重要,因此您可能应该考虑使用MPI。使用MPI编写简单的Master / Worker程序并不是很困难,它可能会为您提供最佳性能,尤其是在您的集群具有高性能网络(例如infiniband)的情况下。

如果您似乎正在使用Java,则必须进行一些研究才能确定一个好的Java / MPI包。您会在这里找到一些建议:Java openmpi

关于hadoop - 在集群中分布单个进程的最佳方法,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/18217548/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com