hadoop - Sparksql saveAsTable 调用错误的 hdfs 端口

Question

我用hadoop 2.6.3、spark 2.0.0(之前是1.6.1)、hive 2.0配置了一个hadoop集群；

最近，我更改了 hadoop 端口规范。一项重大更改是针对 core-site.xml 中的 fs.defaultFS。我从

改变了这个属性

hdfs://10.104.90.40:9000    

到

hdfs://10.104.90.40:8020

之后我重述了 hadoop。现在我想用代码编写一个表来使用 SparkSql 进行配置:

 df=sqlContext.sql('select * from vehicle')
 df.take(1)              //this can show the content correctly
 df.write.saveAsTable('try')  

但是，它总是失败并出现以下错误:

py4j.protocol.Py4JJavaError: An error occurred while calling o405.saveAsTable.
: java.net.ConnectException: Call From namenode01-bi-dev/10.104.90.40 to 
namenode01-bi-dev:9000 failed on connection exception:
java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused

在我使用 spark 1.6.1(已经将 fs.defaultFS 端口更改为 8020)之前，当我运行 saveAsTable 命令时会弹出完全相同的消息。很明显，错误是由于尝试连接到不再使用的端口造成的。

我尝试了以下命令来查找是否忘记更改某些设置，却发现没有配置文件包含“9000”的内容

grep -rnw '/usr/local/' -e "9000" 

其他一切正常，下面的命令或代码都可以正常工作

hadoop fs -put/get 
hdfs getconf -confKey fs.defaultFS //the outout is hdfs://10.104.90.40:8020
//within pyspark-shell
ff=sc.textFile("somefile")
ff.saveAsTextFile("/ll")

saveAsTable 调用 9000 端口对我来说没有任何意义。

Answer 1

您是否尝试过重新启动 hive metastore，

sudo service hive-metastore restart