python - 在 CDH 5.3.0 上安装 pydoop 1.0.0-rc1

Question

我正在尝试在运行 CDH 5.3.0 的 Linux 服务器上升级到 pydoop 1.0.0-rc1。我能够在另一个运行 CDH 5.1.2 的环境中完成安装。我运行命令“pip install --proxy .... -upgrade pydoop==1.0.0-rc1”并下载包并完成 C++ 编译。当它到达 java 构建时它失败了:

running build_scripts                                                                                                  
creating build/scripts-2.7                                                                                             
copying and adjusting scripts/pydoop -> build/scripts-2.7                                                              
changing mode of build/scripts-2.7/pydoop from 644 to 755                                                              
hadoop_home: '/opt/cloudera/parcels/CDH-5.3.0-1.cdh5.3.0.p0.30/jars'                                                   
hadoop_version: '2.5.0-cdh5.3.0'                                                                                       
java_home: '/usr/java/latest'                                                                                          
Building java code for hadoop-2.5.0-cdh5.3.0                                                                           
Compiling Java classes                                                                                                 
src/v1/it/crs4/pydoop/NoSeparatorTextOutputFormat.java:31: cannot find symbol                                          
symbol  : class JobConf                                                                                                
location: package org.apache.hadoop.mapred                                                                             
import org.apache.hadoop.mapred.JobConf;                                                                               
                               ^                                                                                       
src/v1/it/crs4/pydoop/NoSeparatorTextOutputFormat.java:32: cannot find symbol                                          
symbol  : class RecordWriter                                                                                           
location: package org.apache.hadoop.mapred                                                                             
import org.apache.hadoop.mapred.RecordWriter;                                                                          
                               ^                                                                                       
src/v1/it/crs4/pydoop/NoSeparatorTextOutputFormat.java:33: cannot find symbol                                          

根据日志记录，它具有 hadoop 库的位置，所以我不知道接下来要尝试什么？

这个版本的pydoop支持CDH 5.3.0吗？有什么解决方法的建议吗？

感谢您的任何建议。

路易斯

Answer 1

我是一名 Pydoop 开发人员。我在最后一个 pydoop 版本 (1.0.0) 上测试了 cdh 5.3.0 并且它有效。也许最好的办法是删除以前的安装并重新运行:sudo pip install pydoop