python - 使用 dask 进行高效的 n 体模拟

Question

N-body simulation 用于模拟涉及粒子相互作用的物理系统的动力学，或将问题简化为某种具有物理意义的粒子。粒子可以是气体分子或星系中的恒星。 Dask.bag 提供了一种在集群中分布粒子的简单方法，例如，为 dask.bag.from_sequence() 提供一个自定义迭代器，该迭代器返回一个粒子对象:

class ParticleGenerator():
    def __init__(self, num_of_particles, max_position, seed=time.time()):
        random.seed(seed)
        self.index = -1
        self.limit = num_of_particles
        self.max_position = max_position
    def __iter__(self):
        return self 
    def __next__(self):
         self.index += 1
         if self.index < self.limit :
             return np.array([self.max_position*random.random(), self.max_position*random.random(), self.max_position*random.random()]) 
         else :
             raise StopIteration
b = db.from_sequence( ParticleGenerator(1000, 1, seed=123456789) )

这里，粒子对象只是一个 numpy 数组，但可以是任何东西。现在，为了计算所有粒子之间的相互作用，必须共享有关位置、速度和类似数量的信息。 dask.bag.map 在集合中的所有元素上映射一个函数，在该函数内，计算元素与所有其他粒子之间的相互作用以获得新的粒子状态。

b = b.map(update_position, others=list(b))
b.compute()

为了完整起见，这是 update_position 函数:

def update_position(e, others=None, mass=1, dt=1e-4):
    f = np.zeros(3)
    for o in others:
        r = e - o
        r_mag = np.sqrt(r.dot(r))
        if r_mag == 0 :
            continue 
        f += ( A/(r_mag**7) + B/(r_mag**13) ) * r
    return e + f * (dt**2 / mass)

A 和 B 一些任意值。可以在循环内多次调用 dask.bag.map() 来执行模拟。

1. Dask.bag 是处理此类问题的一个好的集合(抽象)吗？也许 Dask.distributed 是一个更好的主意？
2. 以这种方式对模拟进行编程，调度程序是否会处理所有通信，或者与工作人员间的通信共享有关位置、速度等的信息？
3. 有什么意见可以优化代码吗？特别是关于在调用 dask.bag.map() 时将集合转换为列表的过热问题。

Answer 1

一般来说，N 体模拟需要复杂的算法和数据结构才能有效运行。许多常见的解决方案包括使用复杂的树数据结构。您可能想要搜索 kd-tree 或 barnes-hut 等术语。

另一方面，Dask.bag 是您可以想象到的最简单/最愚蠢的并行编程抽象之一，类似于 MapReduce 和 Spark 等其他批量数据处理系统。这些系统不够灵活，无法在 N 体模拟等复杂问题上提供良好的性能。

类似于 dask.array或dask.delayed将提供更大的灵 active ，但即使如此，也与微调的 KD 树不同。