gpt4 book ai didi

amazon-web-services - 在 Sagemaker 笔记本中将 python 包安装到 PySpark 内核

转载 作者:行者123 更新时间:2023-12-04 04:20:38 25 4
gpt4 key购买 nike

有人知道如何在 AWS Sagemaker Notebook 实例上安装包,以便它们在 PySpark 内核中可用吗?我现在做了几次尝试,包括生命周期脚本,但似乎我只是错过了正确的 python 环境。有问题的包是 joblib 但我想这应该无关紧要?!

最佳答案

感谢使用 Amazon SageMaker!

与任何其他内核不同,PySpark 内核仅在有要连接的 EMR 集群时运行。而生命周期配置在笔记本实例投入使用之前运行。因此您不能使用 Lifecycle Config 在 PySpark 内核中安装包,只有在内核启动并连接到 EMR 集群后才能安装包。

为了将包安装到 PySpark 内核,您可以执行 pip install <package_name>内核启动后,它将在 EMR 集群主机上执行命令。

谢谢,

尼拉姆

关于amazon-web-services - 在 Sagemaker 笔记本中将 python 包安装到 PySpark 内核,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/59448351/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com