hadoop - spark1.3无法从HDFS1读取数据

Question

我正在使用 Spark1.3.1 尝试从 HDFS 读取数据:

val sc = new SparkContext(sparkConf)
val lines = sc.textFile("hdfs://192.168.0.104:9000/cur/part-r-02554")

我遇到了以下异常:

Exception in thread "main" java.io.IOException: Failed on local exception: 
com.google.protobuf.InvalidProtocolBufferException: Protocol message end-group
tag did not match expected tag.; Host Details : local host is: 
"hadoop104/192.1168.1.104"; destination host is: "hadoop104":9000;

Answer 1

尝试在您的 core-site.xml 中查找属性 fs.defaultFS 或 fs.default.name。检查 192.168.0.104 是否配置为 value，而不是 hostname。

如果一个主机名被配置为一个值，这必然会给你一个错误——因为这是被严格遵守的。要么，使用 core-site.xml 中配置的任何内容，要么不使用 IP/主机名，直接使用 hdfs:/cur/part-r-02554