python - 多处理 : farming out python functions to a cluster

Question

我想知道我是否可以通过网格/集群上的多处理包而不是在同一台本地机器上执行/运行 python 函数。它将帮助我创建 100 个必须使用相同功能的作业，并通过 DRMAA 将它们分配给我们的本地集群。我不确定这是否可能或对子进程/ fork 有意义。

任何示例或建议都会有所帮助。

PS: 交叉发布在 python-list 上

谢谢!-阿比

Answer 1

通常为此我们使用 MPI 之类的东西。

有一个仲裁者，他的唯一工作是将任务分配给节点并检查节点的活跃度。(池)每个脚本都应该相同，并包含您需要的所有代码并分发到所有节点。

设置完成后，为每个节点维护任务和参数(方法名称 + 参数)队列以完成并将结果排回仲裁器。

简单的例子:

def do_something(arg1, arg2):
  return arg1 + arg2

def get_next_task():
  task, args = server.retrieve_task()
  result = task(args)
  server.queue_result(result, node_id)

if __name__ == '__main__':
  if sys.argv[1] == '-a': # arbiter
    arbiter()
  if sys.argv[1] == '-n': # node
    run_node()