azure - Spark SQL - 选择产生 AttributeError : 'module' object has no attribute 'api'

Question

美好的一天，

我正在使用 Azure HDinsight cluster 的基本安装，配置为spark 。我在Jupyter Notebook , PySpark .

使用提供的 00 - [先阅读我] PySpark Kernel Features.ipynb file ，我在执行 spark sql 'SELECT' 时发现以下错误/错误:

AttributeError: 'module' object has no attribute 'api'

执行代码:

<小时/>

%%sql -o query1

SELECT clientid, querytime, deviceplatform, querydwelltime

FROM hivesampletable

WHERE state = 'Washington' AND devicemake = 'Microsoft' 

<小时/>

我在使用 SELECT 时出现了同样的错误在其他代码中。由于此处指出的代码出现在提供的基线“教程”中，因此我希望它不是编码错误。我在 PySpark 中遇到了同样的错误和PySpark 3 kernel .

有人可以分享任何经验/建议/建议吗？

追踪:

<小时/>

AttributeErrorTraceback (most recent call last) /usr/bin/anaconda/lib/python2.7/site-packages/IPython/core/formatters.pyc in call(self, obj)

 902                 pass

 903             else:

 --> 904                 printer(obj)

 905                 return True

 906             # Finally look for special method names

display_dataframe(df) 中的

/usr/bin/anaconda/lib/python2.7/site-packages/autovizwidget/widget/utils.pyc

114 

115 def display_dataframe(df):

 --> 116     selected_x = select_x(df)

117     selected_y = select_y(df, selected_x)

118     encoding = Encoding(chart_type=Encoding.chart_type_table, x=selected_x, y=selected_y,

select_x(data, order) 中的

/usr/bin/anaconda/lib/python2.7/site-packages/autovizwidget/widget/utils.pyc

 70         _validate_custom_order(order)

 71 

 ---> 72     d = _classify_data_by_type(data, order)

 73 

 74     chosen_x = None

_classify_data_by_type(data, order, skip) 中的

/usr/bin/anaconda/lib/python2.7/site-packages/autovizwidget/widget/utils.pyc

 48     for column_name in data:

 49         if column_name not in skip:

 ---> 50             typ = infer_vegalite_type(data[column_name])

 51             d[typ].append(column_name)

 52 

infer_vegalite_type(data) 中的

/usr/bin/anaconda/lib/python2.7/site-packages/autovizwidget/widget/utils.pyc

 14     """

 15 

 ---> 16     typ = pd.api.types.infer_dtype(data)

 17 

 18     if typ in ['floating', 'mixed-integer-float', 'integer',

AttributeError: 'module' object has no attribute 'api'

Answer 1

笔记本使用的是 pandas 0.17.1 版本，但 autovizwidget 依赖于具有“api”模块的更高版本的 pandas。我被告知这个问题将在 HDInsight 配置的后续版本中得到解决。

通过 ssh 进入集群并运行以下命令:

sudo -HE/usr/bin/anaconda/bin/conda 安装 pandas