python - Dask:延迟与 future 和任务图生成

Question

关闭。这个问题需要多问 focused 。目前不接受答案。

---

想要改进此问题吗？更新问题，使其仅关注一个问题 editing this post .

已关闭 4 年前。

Improve this question

我有一些关于 Dask 的基本问题:

1. 当我想使用 dask 进行分布式计算(即在集群上)时，我必须使用 Futures 是否正确？
2. 在这种情况下，即在使用 future 时，任务图仍然是推理计算的方式吗？如果是，我该如何创建它们。
3. 一般情况下，无论是使用 future 还是延迟，我如何获取与任务图关联的字典？

作为编辑:我的应用程序是我想在本地计算机或集群上并行化 for 循环(即它应该在集群上工作)。

作为第二次编辑:我想我对Futures和延迟计算之间的关系也有些不清楚。

谢谢

Answer 1

1)是的。如果您通过网络发送数据，则必须有某种方式询问为您进行计算的计算机，数字运算的情况如何，而 future 或多或少准确地代表了这一点。

2) 不。使用 Futures，您会急切地执行函数 - 尽快启动计算，然后等待结果返回(从本地的另一个线程/进程，或从某个远程线程/进程返回)已将工作转移到)。这里的相关抽象是一个队列(特别是优先级队列)。

3) 例如，对于 Delayed 实例，您可以执行 some_delayed.dask，或者对于数组，执行 Array.dask；可以选择将整个内容包装在 dict() 或 vars() 中。不过，我不确定是否每个 API 都能以这种方式可靠地设置(我会假设是这样，但你知道他们对我们两个人的假设有何看法……)。

4) 最简单的类比可能是:Delayed 本质上是一个奇特的 Python yield 函数包装器； Future 本质上是函数的一个奇特的 async/await 包装器。