gpt4 book ai didi

python - 我可以在 Dask/Distributed 中使用从 .py 文件导入的函数吗?

转载 作者:太空狗 更新时间:2023-10-29 20:21:13 27 4
gpt4 key购买 nike

我有一个关于序列化和导入的问题。

  • 函数应该有自己的导入吗? like I've seen done with PySpark
  • 以下是完全错误的吗? mod.py 是否需要是 conda/pip 包? mod.py 已写入共享文件系统。

In [1]: from distributed import Executor

In [2]: e = Executor('127.0.0.1:8786')

In [3]: e
Out[3]: <Executor: scheduler="127.0.0.1:8786" processes=2 cores=2>

In [4]: import socket

In [5]: e.run(socket.gethostname)
Out[5]: {'172.20.12.7:53405': 'n1015', '172.20.12.8:53779': 'n1016'}

In [6]: %%file mod.py
...: def hostname():
...: return 'the hostname'
...:
Overwriting mod.py

In [7]: import mod

In [8]: mod.hostname()
Out[8]: 'the hostname'

In [9]: e.run(mod.hostname)
distributed.utils - ERROR - No module named 'mod'

最佳答案

快速回答

将您的 mod.py 文件上传给您的所有工作人员。您可以使用任何用于设置 dask.distributed 的机制来执行此操作,或者您可以使用 upload_file方法

e.upload_file('mod.py')

或者,如果您的函数是在 IPython 中创建的,而不是作为模块的一部分,它将毫无问题地一起发送。

长答案

这一切都与如何在 Python 中序列化函数有关。来自模块的函数通过它们的模块名称和函数名称序列化

In [1]: from math import sin

In [2]: import pickle

In [3]: pickle.dumps(sin)
Out[3]: b'\x80\x03cmath\nsin\nq\x00.'

因此,如果客户端机器想要引用 math.sin 函数,它会沿着这个字节串发送(您会注意到它有 'math' 'sin' 埋在其他字节中)到工作机器。工作人员看着这个字节串说:“好的,很好,我想要的功能在某某模块中,让我去本地文件系统中找到它。如果该模块不存在,则会引发错误,就像您在上面收到的一样。

对于动态创建的函数(您在 IPython 中创建的函数),它使用完全不同的方法,将所有代码捆绑在一起。这种方法通常效果很好。

一般来说,Dask 假设工作人员和客户都拥有相同的软件环境。通常,这主要由使用 Docker 等其他工具设置集群的人处理。当您有更频繁更新的文件或脚本时,upload_file 等方法可以填补空白。

关于python - 我可以在 Dask/Distributed 中使用从 .py 文件导入的函数吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/39295200/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com