dask.distributed 未使用集群

Question

我无法使用分布式集群处理此 block 。

import pandas as pd
from dask import dataframe as dd 
import dask

df = pd.DataFrame({'reid_encod': [[1,2,3,4,5,6,7,8,9,10],[1,2,3,4,5,6,7,8,9,10],[1,2,3,4,5,6,7,8,9,10],[1,2,3,4,5,6,7,8,9,10],[1,2,3,4,5,6,7,8,9,10],[1,2,3,4,5,6,7,8,9,10]]})
dask_df = dd.from_pandas(df, npartitions=3)
save_val = []
def add(dask_df):
    for _, outer_row in dask_df.iterrows():
        for _, inner_row in dask_df.iterrows():
            for base_encod in outer_row['reid_encod']:
               for compare_encod in inner_row['reid_encod']:
                   val = base_encod + compare_encod
                   save_val.append(val)
    return save_val

from dask.distributed import Client

client = Client(...)
dask_compute = dask.delayed(add)(dask_df)
dask_compute.compute()

我也有几个疑问

dask.delayed 是否使用可用的集群进行计算。

我可以使用延迟来并行化这个 pandas DF 的 for 循环迭代，并使用集群中存在的多台计算机进行计算。

dask.distributed 在 pandas 数据框上工作。

我们可以在 dask.distributed 中使用 dask.delayed。

如果上面的编程方法是错误的，你能指导我在上面的场景中选择delayed还是dask DF。

Answer 1

作为记录，一些答案，虽然我想注意我之前关于这个问题的一般观点

Does dask.delayed use the available clusters to do the computation.

如果您已经为分布式集群创建了一个客户端，除非您另外指定，否则 dask 将使用它进行计算。

Can I paralleize the for loop iteratition of this pandas DF using delayed, and use multiple computers present in the cluster to do computations.

是的，如果您愿意，通常可以使用 pandas 数据帧延迟来实现并行性。但是，您的数据框只有一行，因此在这种情况下如何并不明显 - 这取决于您真正想要实现的目标。

does dask.distributed work on pandas dataframe.

是的，你可以做任何 python 可以用分布式做的事情，因为它只是执行代码的 python 进程。它是否给你带来你所追求的表现是一个单独的问题

can we use dask.delayed in dask.distributed.

是的，distributed 可以执行 dask 通常可以执行的任何操作，包括延迟的函数/对象

If the above programming approach is wrong, can you guide me whether to choose delayed or dask DF for the above scenario.

不容易，我不清楚这是一个数据框操作。它看起来更像是一个数组 - 但是，我再次注意到您的函数实际上并没有返回任何有用的东西。

教程中: passing pandas dataframes to delayed ; same with dataframe API .