python - Jupyter 中的 Pydoop 失败

Question

我在同一台机器上安装了带有 HDP 和 iPython/Jupyter 的 Ubuntu O/S。我能够使用 Python2 内核通过 Jupyter notebook 运行各种命令。

但是我在 Jupyter notebook 中遇到 Pydoop 问题。我想使用这个库访问 Hadoop 上 HDFS 中的数据。我能够在 Python 命令控制台以及 iPython 控制台中成功运行以下代码:

import pydoop.hdfs as hdfs
hdfs.ls('/')

但是，我在 Jupyter notebook 中的 hdfs.ls 命令中遇到以下错误:

/usr/local/lib/python2.7/dist-packages/pydoop/hdfs/core/__init__.pyc in core_hdfs_fs(host, port, user)
 55             'module not initialized, check that Pydoop is correctly installed'
 56         )
---> 57     return _CORE_MODULE.CoreHdfsFs(host, port, user)

RuntimeError: (255, 'Unknown error 255')

我认为该错误具有误导性，因为同一命令在普通 python 和 ipython 控制台中确实有效。我尝试使用以下命令初始化 hdfs 类，但出现相同的错误:

host='zzz.zzz.zzz.zzz' <host name masked for question>
port=8020
user='hdfs'

hdfs.init()
hdfs.hdfs(host, port, user)

python -V 命令显示 Jupyter notebook 和 Python 控制台都使用 Python 2.7.3

我可以使用以下命令通过 Jupyter notebook 访问 HDFS:

!hdfs dfs -ls /user/flume/data

我还可以通过 module not found on ipython notebook 中建议的以下脚本确认 pydoop 包在 Jupyter ('pydoop==1.2.0') 中可用。

import pip
installed_packages = pip.get_installed_distributions()
installed_packages_list = sorted(["%s==%s" % (i.key, i.version)
 for i in installed_packages])
print installed_packages_list

如能帮助修复 Jupyter 中的模块错误，我们将不胜感激。

谢谢

Answer 1

我设法通过卸载 Jupyter 自己解决了这个问题，而是选择通过 Anaconda 安装所有东西(Python、iPython、Jupyter 等)。

希望对遇到类似问题的任何人有所帮助。

我认为问题可能与未安装或未更新所需的库有关，即使我没有时间查明问题。