apache-spark - 如何使用 spark-shell 添加 hbase-site.xml 配置文件

Question

我有以下简单的代码:

import org.apache.hadoop.hbase.client.ConnectionFactory
import org.apache.hadoop.hbase.HBaseConfiguration
val hbaseconfLog = HBaseConfiguration.create()
val connectionLog = ConnectionFactory.createConnection(hbaseconfLog)

我在 spark-shell 上运行，出现以下错误:

 14:23:42 WARN zookeeper.ClientCnxn: Session 0x0 for server null, unexpected 
error, closing socket connection and attempting reconnect
java.net.ConnectException: Connection refused
at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)
at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:739)
at org.apache.zookeeper.ClientCnxnSocketNIO.doTransport(ClientCnxnSocketNIO.java:30)
at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:1081)

实际上有很多这样的错误，其中一些不时发生:

14:23:46 WARN client.ZooKeeperRegistry: Can't retrieve clusterId from 
Zookeeper org.apache.zookeeper.KeeperException$ConnectionLossException: 
KeeperErrorCode = ConnectionLoss for /hbase/hbaseid

通过 Cloudera 的 VM 我可以通过简单地重新启动 hbase-master、regionserver 和 thrift 来解决这个问题，但是在我的公司中我不允许这样做，我还通过复制文件 hbase-site.xml 解决了一次spark conf 目录，但我也不能，有没有办法在 spark-shell 参数中设置这个特定文件的路径？

Answer 1

1)确保您的动物园管理员正在运行

2) 需要复制hbase-site.xml至 /etc/spark/conf文件夹就像我们复制 hive-site.xml至 /etc/spark/conf访问 Hive 表。

3) export SPARK_CLASSPATH=/a/b/c/hbase-site.xml;/d/e/f/hive-site.xml
就像在 hortonworks 论坛中描述的一样......喜欢 this

或者
打开 spark-shell 而不添加 hbase-site.xml

在 spark-shell 中执行的 3 个命令

val conf = HBaseConfiguration.create()
  conf.addResource(new Path("/home/spark/development/hbase/conf/hbase-site.xml"))
   conf.set(TableInputFormat.INPUT_TABLE, table_name)