Python 错误，无法在 Spark ( Bluemix ) 上导入名称 Imputer

Question

我有一个问题，我在 spark 上写了我的脚本，当我运行脚本时，我遇到了导入问题，但我不明白为什么，因为当我通过 spyder 在本地运行相同的脚本时，我没有得到这个错误。那么为什么我会收到此错误？是 Bluemix 有问题吗？

脚本:

from sklearn.ensemble import GradientBoostingClassifier
from sklearn import preprocessing
from sklearn.preprocessing import Imputer
from sklearn.metrics import roc_auc_score

我的错误是:

<ipython-input-2-13d49864f8d7> in <module>()
     66 from sklearn import preprocessing
     67 #from sklearn.preprocessing import Imputer
---> 68 from sklearn.metrics import roc_auc_score


ImportError: cannot import name roc_auc_score

or 

from sklearn.ensemble import RandomForestClassifier
      4 import sklearn.preprocessing as p
----> 5 from sklearn.preprocessing import Imputer
      6 #import sklearn.metrics as sm
      7 from sklearn.metrics import roc_auc_score

ImportError: cannot import name Impute

Answer 1

解决方法是在用户站点包中安装较新版本的 scikit-learn 并从系统站点导入该版本而不是 scikit-learn 0.11 -包。

1.) 安装较新版本的 scikit-learn(忽略输出“Successfully installed scikit-learn-0.11”):

!pip install --user --upgrade scikit-learn

2.) 显示用户名:

!whoami

3.) 在系统站点包路径之前设置用户站点包路径。使用步骤 2 中的用户名作为变量 USER_NAME:

import sys
sys.path.insert(0,"/gpfs/fs01/user/USER_NAME/.local/lib/python2.7/site-packages")

4.) 检查 scikit-learn 版本:

import sklearn
sklearn.__version__

以下代码应在前面的步骤之后运行:

from sklearn.ensemble import GradientBoostingClassifier
from sklearn import preprocessing
from sklearn.preprocessing import Imputer
from sklearn.metrics import roc_auc_score

内核重启后，必须再次执行第 3 步，以便从用户站点包中导入更新版本的 scikit-learn!