apache-spark - AWS EMR 5.11.0-Spark上的Apache Hive

Question

我正在尝试在AWS EMR 5.11.0的Spark上设置Apache Hive。
Apache Spark版本-2.2.1
Apache Hive版本-2.3.2
纱线日志显示以下错误:

18/01/28 21:55:28错误ApplicationMaster:用户类引发异常:java.lang.NoSuchFieldError:SPARK_RPC_SERVER_ADDRESS
java.lang.NoSuchFieldError:SPARK_RPC_SERVER_ADDRESS
在org.apache.hive.spark.client.rpc.RpcConfiguration。(RpcConfiguration.java:47)
在org.apache.hive.spark.client.RemoteDriver。(RemoteDriver.java:134)
在org.apache.hive.spark.client.RemoteDriver.main(RemoteDriver.java:516)
在sun.reflect.NativeMethodAccessorImpl.invoke0(本机方法)处
在sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
在sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
在java.lang.reflect.Method.invoke(Method.java:498)
在org.apache.spark.deploy.yarn.ApplicationMaster $$ anon $ 2.run(ApplicationMaster.scala:635)

hive-server2.log:
2018-01-28T21:56:50,109错误[HiveServer2-Background-Pool:Thread-68([])]:client.SparkClientImpl(SparkClientImpl.java:(112))-等待客户端连接超时。
可能的原因包括网络问题，远程驱动程序错误或群集没有可用资源等。
请检查YARN或Spark驱动程序的日志以获取更多信息。
java.util.concurrent.ExecutionException:java.util.concurrent.TimeoutException:WAITING客户端连接超时。
在io.netty.util.concurrent.AbstractFuture.get(AbstractFuture.java:41)〜[netty-all-4.0.52.Final.jar:4.0.52.Final]
在org.apache.hive.spark.client.SparkClientImpl。(SparkClientImpl.java:109)〜[hive-exec-2.3.2-amzn-0.jar:2.3.2-amzn-0]
在org.apache.hive.spark.client.SparkClientFactory.createClient(SparkClientFactory.java:80)〜[hive-exec-2.3.2-amzn-0.jar:2.3.2-amzn-0]
在org.apache.hadoop.hive.ql.exec.spark.RemoteHiveSparkClient.createRemoteClient(RemoteHiveSparkClient.java:101)〜[hive-exec-2.3.2-amzn-0.jar:2.3.2-amzn-0]
在org.apache.hadoop.hive.ql.exec.spark.RemoteHiveSparkClient。(RemoteHiveSparkClient.java:97)〜[hive-exec-2.3.2-amzn-0.jar:2.3.2-amzn-0]
在org.apache.hadoop.hive.ql.exec.spark.HiveSparkClientFactory.createHiveSparkClient(HiveSparkClientFactory.java:73)〜[hive-exec-2.3.2-amzn-0.jar:2.3.2-amzn-0]
在org.apache.hadoop.hive.ql.exec.spark.session.SparkSessionImpl.open(SparkSessionImpl.java:62)〜[hive-exec-2.3.2-amzn-0.jar:2.3.2-2-amzn-0 ]
在org.apache.hadoop.hive.ql.exec.spark.session.SparkSessionManagerImpl.getSession(SparkSessionManagerImpl.java:115)〜[hive-exec-2.3.2-amzn-0.jar:2.3.2-amzn-0 ]
在org.apache.hadoop.hive.ql.exec.spark.SparkUtilities.getSparkSession(SparkUtilities.java:126)〜[hive-exec-2.3.2-amzn-0.jar:2.3.2-2-amzn-0]

也，
2018-01-28T21:56:50,110错误[HiveServer2-Background-Pool:Thread-68([])]:spark.SparkTask(SessionState.java:printError(1126))-无法执行spark任务，异常为'org .apache.hadoop.hive.ql.metadata.HiveException(无法创建Spark客户端。)'
org.apache.hadoop.hive.ql.metadata.HiveException:无法创建Spark客户端。
在org.apache.hadoop.hive.ql.exec.spark.session.SparkSessionImpl.open(SparkSessionImpl.java:64)
在org.apache.hadoop.hive.ql.exec.spark.session.SparkSessionManagerImpl.getSession(SparkSessionManagerImpl.java:115)
在org.apache.hadoop.hive.ql.exec.spark.SparkUtilities.getSparkSession(SparkUtilities.java:126)
在org.apache.hadoop.hive.ql.exec.spark.SparkTask.execute(SparkTask.java:103)
在org.apache.hadoop.hive.ql.exec.Task.executeTask(Task.java:199)
在org.apache.hadoop.hive.ql.exec.TaskRunner.runSequential(TaskRunner.java:100)
在org.apache.hadoop.hive.ql.Driver.launchTask(Driver.java:2183)
在org.apache.hadoop.hive.ql.Driver.execute(Driver.java:1839)
在org.apache.hadoop.hive.ql.Driver.runInternal(Driver.java:1526)
在org.apache.hadoop.hive.ql.Driver.run(Driver.java:1237)
在org.apache.hadoop.hive.ql.Driver.run(Driver.java:1232)
在org.apache.hive.service.cli.operation.SQLOperation.runQuery(SQLOperation.java:255)
在org.apache.hive.service.cli.operation.SQLOperation.access $ 800(SQLOperation.java:91)
在org.apache.hive.service.cli.operation.SQLOperation $ BackgroundWork $ 1.run(SQLOperation.java:348)
在java.security.AccessController.doPrivileged(本机方法)
在javax.security.auth.Subject.doAs(Subject.java:422)
在org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1698)
在org.apache.hive.service.cli.operation.SQLOperation $ BackgroundWork.run(SQLOperation.java:362)
在java.util.concurrent.Executors $ RunnableAdapter.call(Executors.java:511)
在java.util.concurrent.FutureTask.run(FutureTask.java:266)
在java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
在java.util.concurrent.ThreadPoolExecutor $ Worker.run(ThreadPoolExecutor.java:624)
在java.lang.Thread.run(Thread.java:748)
引起原因:java.lang.RuntimeException:java.util.concurrent.ExecutionException:java.util.concurrent.TimeoutException:WAITING客户端连接超时。

谁能指出我可能在配置中缺少的内容？

Answer 1

抱歉，但EMR尚不支持Hive on Spark。我自己还没有尝试过，但是我认为您的错误的可能原因可能是EMR支持的Spark版本与Hive依赖的Spark版本之间不匹配。我上次检查时，在Spark上运行Hive时，Hive不支持Spark2.x。鉴于您的第一个错误是NoSuchFieldError，看来版本不匹配是最可能的原因。超时错误可能是红色鲱鱼。