- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我正在尝试在本地计算机上测试对hbase的读写。
我正在使用cloudera快速入门docker镜像托管hbase / hadoop / zookeeper等。
我有以下代码:
val conf = new SparkConf().setAppName("Database Benchmark")
val sparkContext = new SparkContext(conf)
val tableName = "testTable"
val HBaseConf = HBaseConfiguration.create()
// Add local HBase conf
HBaseConf.set("hbase.master", "localhost")
HBaseConf.set("hbase.zookeeper.quorum","localhost")
HBaseConf.set("hbase.zookeeper.property.clientPort", "2181")
HBaseConf.set(TableInputFormat.INPUT_TABLE, tableName)
val connection = ConnectionFactory.createConnection(HBaseConf)
val table = connection.getTable(TableName.valueOf(tableName))
val rdd = sparkContext.parallelize(1 to 100)
.map(i => (i.toString, i+1))
try {
read(table)
write(rdd)
} catch {
case e : Exception => println("uh oh") // uh oh.
} finally {
table.close
connection.close
}
}
def write(toWrite : RDD[(String, Int)]): Put = {
val putter = new Put(Bytes.toBytes("Row2"))
putter.addColumn(Bytes.toBytes("test"),
Bytes.toBytes("column1"), Bytes.toBytes(toWrite.toString()))
}
def read(table : Table) = {
val row = table.get(new Get(Bytes.toBytes("newRow")))
println(row.toString)
}
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
16/10/25 14:56:00 INFO SparkContext: Running Spark version 2.0.1
16/10/25 14:56:01 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
16/10/25 14:56:01 INFO SecurityManager: Changing view acls to: {user}
16/10/25 14:56:01 INFO SecurityManager: Changing modify acls to: {user}
16/10/25 14:56:01 INFO SecurityManager: Changing view acls groups to:
16/10/25 14:56:01 INFO SecurityManager: Changing modify acls groups to:
16/10/25 14:56:01 INFO SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set({user}); groups with view permissions: Set(); users with modify permissions: Set({user}); groups with modify permissions: Set()
16/10/25 14:56:02 INFO Utils: Successfully started service 'sparkDriver' on port 57682.
16/10/25 14:56:02 INFO SparkEnv: Registering MapOutputTracker
16/10/25 14:56:02 INFO SparkEnv: Registering BlockManagerMaster
16/10/25 14:56:02 INFO DiskBlockManager: Created local directory at /private/var/folders/b5/6bhlwry949n3mpwppt4m5_1jcmsf2g/T/blockmgr-d4aaf6d1-ca0d-4c9b-9e08-9b7716e89791
16/10/25 14:56:02 INFO MemoryStore: MemoryStore started with capacity 2004.6 MB
16/10/25 14:56:02 INFO SparkEnv: Registering OutputCommitCoordinator
16/10/25 14:56:02 INFO Utils: Successfully started service 'SparkUI' on port 4040.
16/10/25 14:56:02 INFO SparkUI: Bound SparkUI to 127.0.0.1, and started at http://127.0.0.1:4040
16/10/25 14:56:02 INFO Executor: Starting executor ID driver on host localhost
16/10/25 14:56:02 INFO Utils: Successfully started service 'org.apache.spark.network.netty.NettyBlockTransferService' on port 57683.
16/10/25 14:56:02 INFO NettyBlockTransferService: Server created on 127.0.0.1:57683
16/10/25 14:56:02 INFO BlockManagerMaster: Registering BlockManager BlockManagerId(driver, 127.0.0.1, 57683)
16/10/25 14:56:02 INFO BlockManagerMasterEndpoint: Registering block manager 127.0.0.1:57683 with 2004.6 MB RAM, BlockManagerId(driver, 127.0.0.1, 57683)
16/10/25 14:56:02 INFO BlockManagerMaster: Registered BlockManager BlockManagerId(driver, 127.0.0.1, 57683)
16/10/25 14:56:02 INFO RecoverableZooKeeper: Process identifier=hconnection-0x5bd73d1a connecting to ZooKeeper ensemble=localhost:2181
16/10/25 14:56:02 INFO ZooKeeper: Client environment:zookeeper.version=3.4.6-1569965, built on 02/20/2014 09:09 GMT
16/10/25 14:56:02 INFO ZooKeeper: Client environment:host.name=10.171.46.220
16/10/25 14:56:02 INFO ZooKeeper: Client environment:java.version=1.8.0_101
16/10/25 14:56:02 INFO ZooKeeper: Client environment:java.vendor=Oracle Corporation
16/10/25 14:56:02 INFO ZooKeeper: Client environment:java.library.path=/Users/{user}/Library/Java/Extensions:/Library/Java/Extensions:/Network/Library/Java/Extensions:/System/Library/Java/Extensions:/usr/lib/java:.
16/10/25 14:56:02 INFO ZooKeeper: Client environment:java.io.tmpdir=/var/folders/b5/6bhlwry949n3mpwppt4m5_1jcmsf2g/T/
16/10/25 14:56:02 INFO ZooKeeper: Client environment:java.compiler=<NA>
16/10/25 14:56:02 INFO ZooKeeper: Client environment:os.name=Mac OS X
16/10/25 14:56:02 INFO ZooKeeper: Client environment:os.arch=x86_64
16/10/25 14:56:02 INFO ZooKeeper: Client environment:os.version=10.11.6
16/10/25 14:56:02 INFO ZooKeeper: Client environment:user.name={user}
16/10/25 14:56:02 INFO ZooKeeper: Client environment:user.home=/Users/{user}
16/10/25 14:56:02 INFO ZooKeeper: Client environment:user.dir=/Users/{user}/code/scala/HBaseTest
16/10/25 14:56:02 INFO ZooKeeper: Initiating client connection, connectString=localhost:2181 sessionTimeout=90000 watcher=hconnection-0x5bd73d1a0x0, quorum=localhost:2181, baseZNode=/hbase
16/10/25 14:56:02 INFO ClientCnxn: Opening socket connection to server localhost/127.0.0.1:2181. Will not attempt to authenticate using SASL (unknown error)
16/10/25 14:56:02 INFO ClientCnxn: Socket connection established to localhost/127.0.0.1:2181, initiating session
16/10/25 14:56:02 INFO ClientCnxn: Session establishment complete on server localhost/127.0.0.1:2181, sessionid = 0x157fc012352000e, negotiated timeout = 40000
16/10/25 14:56:41 INFO RpcRetryingCaller: Call exception, tries=10, retries=35, started=38307 ms ago, cancelled=false, msg=row 'testTable,newRow,99999999999999' on table 'hbase:meta' at region=hbase:meta,,1.1588230740, hostname=quickstart.cloudera,60020,1477401812367, seqNum=0
16/10/25 14:56:51 INFO RpcRetryingCaller: Call exception, tries=11, retries=35, started=48337 ms ago, cancelled=false, msg=row 'testTable,newRow,99999999999999' on table 'hbase:meta' at region=hbase:meta,,1.1588230740, hostname=quickstart.cloudera,60020,1477401812367, seqNum=0
...
16/10/25 15:00:56 INFO RpcRetryingCaller: Call exception, tries=11, retries=35, started=48468 ms ago, cancelled=false, msg=row 'testTable,newRow,99999999999999' on table 'hbase:meta' at region=hbase:meta,,1.1588230740, hostname=quickstart.cloudera,60020,1477401812367, seqNum=0
16/10/25 15:01:08 INFO SparkContext: Invoking stop() from shutdown hook
16/10/25 15:01:08 INFO SparkUI: Stopped Spark web UI at http://127.0.0.1:4040
16/10/25 15:01:08 INFO MapOutputTrackerMasterEndpoint: MapOutputTrackerMasterEndpoint stopped!
16/10/25 15:01:08 INFO MemoryStore: MemoryStore cleared
16/10/25 15:01:08 INFO BlockManager: BlockManager stopped
16/10/25 15:01:08 INFO BlockManagerMaster: BlockManagerMaster stopped
16/10/25 15:01:08 INFO OutputCommitCoordinator$OutputCommitCoordinatorEndpoint: OutputCommitCoordinator stopped!
16/10/25 15:01:08 INFO SparkContext: Successfully stopped SparkContext
16/10/25 15:01:08 INFO ShutdownHookManager: Shutdown hook called
16/10/25 15:01:08 INFO ShutdownHookManager: Deleting directory /private/var/folders/b5/6bhlwry949n3mpwppt4m5_1jcmsf2g/T/spark-cc1a87f4-ae09-489e-8957-c2c8a3788e9b
Process finished with exit code 130 (interrupted by signal 2: SIGINT)
docker run --hostname=quickstart.cloudera --privileged=true -t -i -p 8888:8888 -p 7180:7180 -p 8000:80 -p 50070:50070 -p 8020:8020 -p 7077 -p 60000:60000 -p 60020:60020 -p 2181:2181 cloudera/quickstart /usr/bin/docker-quickstart
<configuration>
<property>
<name>hbase.rest.port</name>
<value>8070</value>
<description>The port for the HBase REST server.</description>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.rootdir</name>
<value>hdfs://quickstart.cloudera:8020/hbase</value>
</property>
<property>
<name>hbase.regionserver.ipc.address</name>
<value>0.0.0.0</value>
</property>
<property>
<name>hbase.master.ipc.address</name>
<value>0.0.0.0</value>
</property>
<property>
<name>hbase.thrift.info.bindAddress</name>
<value>0.0.0.0</value>
</property>
</configuration>
最佳答案
1)变更
HBaseConf.set("hbase.master", "localhost:60000")
<property>
<name>zookeeper.znode.parent</name>
<value>/hbase-unsecure</value>
</property>
<property>
关于scala - Spark HBase连接超时/挂起,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/40239930/
我知道这个问题可能已经被问过,但我检查了所有这些,我认为我的情况有所不同(请友善)。所以我有两个数据集,第一个是测试数据集,第二个是我保存在数据框中的预测(预测值,这就是没有数据列的原因)。我想合并两
在 .loc 方法的帮助下,我根据同一数据框中另一列中的值来识别 Panda 数据框中某一列中的值。 下面给出了代码片段供您引用: var1 = output_df['Player'].loc[out
当我在 Windows 中使用 WinSCP 通过 Ubuntu 连接到 VMware 时,它提示: The server rejected SFTP connection, but it lis
我正在开发一个使用 xml web 服务的 android 应用程序。在 wi-fi 网络中连接时工作正常,但在 3G 网络中连接时失败(未找到 http 404)。 这不仅仅发生在设备中。为了进行测
我有一个XIB包含我的控件的文件,加载到 Interface Builder(Snow Leopard 上的 Xcode 4.0.2)中。 文件的所有者被设置为 someClassController
我在本地计算机上管理 MySQL 数据库,并通过运行以下程序通过 C 连接到它: #include #include #include int main(int argc, char** arg
我不知道为什么每次有人访问我网站上的页面时,都会打开一个与数据库的新连接。最终我到达了大约 300 并收到错误并且页面不再加载。我认为它应该工作的方式是,我将 maxIdle 设置为 30,这意味着
希望清理 NMEA GPS 中的 .txt 文件。我当前的代码如下。 deletes = ['$GPGGA', '$GPGSA', '$GPGSV', '$PSRF156', ] searchquer
我有一个 URL、一个用户名和一个密码。我想在 C# .Net WinForms 中建立 VPN 连接。 你能告诉我从哪里开始吗?任何第三方 API? 代码示例将受到高度赞赏... 最佳答案 您可以像
有没有更好的方法将字符串 vector 转换为字符 vector ,字符串之间的终止符为零。 因此,如果我有一个包含以下字符串的 vector "test","my","string",那么我想接收一
我正在编写一个库,它不断检查 android 设备的连接,并在设备连接、断开连接或互联网连接变慢时给出回调。 https://github.com/muddassir235/connection_ch
我的操作系统:Centos 7 + CLOUDLINUX 7.7当我尝试从服务器登录Mysql时 [root@server3 ~]# Mysql -u root -h localhost -P 330
我收到错误:Puma 发现此错误:无法打开到本地主机的 TCP 连接:9200(连接被拒绝 - 连接(2)用于“本地主机”端口 9200)(Faraday::ConnectionFailed)在我的
请给我一些解决以下错误的方法。 这是一个聊天应用....代码和错误如下:: conversations_controller.rb def create if Conversation.bet
我想将两个单元格中的数据连接到一个单元格中。我还想只组合那些具有相同 ID 的单元格。 任务 ID 名称 4355.2 参与者 4355.2 领袖 4462.1 在线 4462.1 快速 4597.1
我经常需要连接 TSQL 中的字段... 使用“+”运算符时 TSQL 强制您处理的两个问题是 Data Type Precedence和 NULL 值。 使用数据类型优先级,问题是转换错误。 1)
有没有在 iPad 或 iPhone 应用程序中使用 Facebook 连接。 这个想法是登录这个应用程序,然后能够看到我的哪些 facebook 用户也在使用该应用程序及其功能。 最佳答案 是的。
我在连接或打印字符串时遇到了一个奇怪的问题。我有一个 char * ,可以将其设置为字符串文字的几个值之一。 char *myStrLiteral = NULL; ... if(blah) myS
对于以下数据 - let $x := "Yahooooo !!!! Select one number - " let $y := 1 2 3 4 5 6 7 我想得到
我正在看 UDEMY for perl 的培训视频,但是视频不清晰,看起来有错误。 培训展示了如何使用以下示例连接 2 个字符串: #!usr/bin/perl print $str = "Hi";
我是一名优秀的程序员,十分优秀!