hadoop - 使用$ HIVE METASTORE JARS指定指向正确的配置单元jar的有效路径，或将spark.sql.hive.metastore.version更改为1.2.1。

Question

当我尝试在具有HiveContext的Jar上运行spark-submit时，出现以下错误。

Spark-defaults.conf中的

spark.sql.hive.metastore.version 0.14.0
spark.sql.hive.metastore.jars ----/external_jars/hive-metastore-0.14.0.jar
#spark.sql.hive.metastore.jars maven

我想使用Hive Metastore版本0.14。 spark和hadoop都在diff集群上。

谁能帮助我解决这个问题？

19/09/19 16:52:24 INFO HiveContext:默认仓库位置为/ apps / hive / warehouse
线程“主”中的异常java.lang.IllegalArgumentException:内置jar只能在配置单元执行版本==配置单元元存储版本时使用。执行:1.2.1!= Metastore:0.14.0
使用$ HIVE_METASTORE_JARS指定指向正确的配置单元jar的有效路径，或将spark.sql.hive.metastore.version更改为1.2.1。
在org.apache.spark.sql.hive.HiveContext.metadataHive $ lzycompute(HiveContext.scala:254)
在org.apache.spark.sql.hive.HiveContext.metadataHive(HiveContext.scala:237)
在org.apache.spark.sql.hive.HiveContext.setConf(HiveContext.scala:441)
在org.apache.spark.sql.SQLContext $$ anonfun $ 4.apply(SQLContext.scala:272)
在org.apache.spark.sql.SQLContext $$ anonfun $ 4.apply(SQLContext.scala:271)
在scala.collection.Iterator $ class.foreach(Iterator.scala:727)
在scala.collection.AbstractIterator.foreach(Iterator.scala:1157)
在scala.collection.IterableLike $ cla

Answer 1

尝试

val hadoopConfig: Configuration = spark.hadoopConfiguration 
hadoopConfig.set("fs.hdfs.impl", classOf[org.apache.hadoop.hdfs.DistributedFileSystem].getNam‌​e) 
hadoopConfig.set("fs.file.impl", classOf[org.apache.hadoop.fs.LocalFileSystem].getName)

在 Spark