python - 将经过训练的 xgboost 分类器从 AWS s3 上传到 EMR

Question

我在 S3 中有一个经过训练的 xgboost 分类器对象，我正尝试将其上传到 Pyspark EMR 笔记本。

我试过了

s3 = boto3.client('s3')
classifier = s3.download_file("###data-science", "classifier.model", "model")

我得到了错误

[Errno 13] Permission denied: 'model.3Cd9D2bD' Traceback (most recent call last):

我知道，但是我有对 S3 的读写权限，所以不确定我为什么会得到这个。

我也试过

bst = xgb.Booster()  
classifier = bst.load_model("s3://###data-science/xgb_classifier.model")

我得到了错误

[16:16:58] /workspace/dmlc-core/src/io.cc:57: Please compile with DMLC_USE_S3=1 to use S3 Stack trace:

我能得到一些关于如何补救这个问题的建议吗？没想到上传对象这么难

Answer 1

您是否在 EMR 上运行 deploy_mode = cluster？