具有 Hive 流的 Python 2.7 模块

Question

我正在使用 Python 映射器在 DSE 3.0 集群 (Hive 0.9) 上进行 Hive Streaming。我的 python 脚本导入 statsmodels 模块，该模块需要 Python 2.7。由于默认版本不是 2.7(而是 2.4)，因此我下载并安装了它以及 statsmodels 模块。

但是，当运行简单的 Hive 查询时

hive> select transform (line) using 'python python-mapper.py' from docs;

其中“docs”是一个包含 STRING 行的 Hive 表。但是，我收到错误:

File "python-mapper.py", line 6, in ?
import statsmodels
ImportError: No module named statsmodels

所以我将 Hive 查询更改为:

hive> select transform (line) using 'python2.7 python-mapper.py' from docs;

调用版本 2.7。但后来我得到了错误

Caused by: java.io.IOException: Cannot run program "python2.7": 
           java.io.IOException: error=2, No such file or directory

我也尝试过 python27 和/usr/local/bin/python2.7 但仍然遇到相同的错误。以前有人遇到过这种情况吗？我已经引用了帖子的第二个答案On linux SUSE or RedHat, how do I load Python 2.7 。任何建议将不胜感激!

谢谢，上午

Answer 1

我知道这有点老了，但是我最近遇到了同样的问题，我想我会为遇到这个问题的其他人回答。

如果您安装了多个版本的 python，python2.7 命令将不起作用。

有两种方法可以解决这个问题。一，使用 python 虚拟环境，它允许您启动脚本并将其添加为资源以分布在所有节点上。第二，您可以通过键入以下内容找到 python2.7 库的安装位置:

which python2.7

然后像这样引用 Hive 查询中的位置(示例):

select transform (line) using '/usr/local/bin/python2.7 python-mapper.py' from docs;

注意，每个节点可能有不同的安装 python2.7 的位置，因此请提前检查。最好使用虚拟环境。