linux - 无法在 AWS Sagemaker 上安装 spacy

Question

我正在尝试将 spacy 加载到 SageMaker 中。我在 Jupyter notebook 实例中运行以下命令

!pip install spacy

我最终得到了这个错误

  gcc: error trying to exec 'cc1plus': execvp: No such file or directory
  error: command 'gcc' failed with exit status 1

还有这个

gcc: error: murmurhash/mrmr.cpp: No such file or directory
error: command 'gcc' failed with exit status 1

如何使用 Sagemaker 解决此问题？

Answer 1

我在开始使用 SageMaker 时遇到了类似的问题，所以我开发了这个开源项目 https://github.com/Kenza-AI/sagify (sagify)，它是一个 CLI 工具，可以帮助您以非常简单的方式在 SageMaker 上训练和部署您自己的机器学习/深度学习模型。无论我使用什么库(Keras、Tensorflow、scikit-learn、LightFM、spacy 等)，我都设法训练和部署了我的所有 ML 模型。本质上，您可以以经典的 Pythonic 方式指定所有依赖项，即在 requiments.txt 中，sagify 将读取它们并将它们安装在 Docker 镜像上。然后，可以在 SageMaker 上执行此 Docker 镜像以进行训练和部署。