gpt4 book ai didi

python - 我需要在 Spark 集群的每个节点上安装 Koalas 还是只在主节点上安装?

转载 作者:太空宇宙 更新时间:2023-11-03 20:13:23 26 4
gpt4 key购买 nike

我发现Koalas来自 Spark+AI 峰会,它将 pandas 引入 Spark。

据我所知,如果我需要将第三方函数映射到 Spark DataFrame,我必须在 Spark 集群的每个节点上安装该包。

考拉也是这样吗?或者我只需要在主节点上运行 pip install koalas 并让 Koalas 和 Spark 处理剩下的事情?

我在考拉的 Docs 中没有找到任何详细信息除了pip install koalas

最佳答案

是的,您需要在集群的所有节点上安装 koalas。通常,所有第 3 方库都需要安装在集群的所有节点上。

关于python - 我需要在 Spark 集群的每个节点上安装 Koalas 还是只在主节点上安装?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/58598196/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com