【Hadoop】HBase组件配置-6ren

【Hadoop】HBase组件配置

转载作者：知者更新时间：2024-03-13 02:09:42

HBase实验步骤：

需要在Hadoop-全分布式配置的基础上进行配置

1、配置时间同步（所有节点）

[root@master ~]# yum -y install chrony
[root@master ~]# vi /etc/chrony.conf
server 0.time1.aliyun.com iburst
#保存
[root@master ~]# systemctl restart chronyd
[root@master ~]# systemctl enable chronyd
Created symlink from /etc/systemd/system/multi-user.target.wants/chronyd.service to /usr/lib/systemd/system/chronyd.service.
[root@master ~]# systemctl status chronyd
● chronyd.service - NTP client/server
   Loaded: loaded (/usr/lib/systemd/system/chronyd.service; enabled; vendor preset: enabled)
   Active: active (running) since Fri 2022-04-15 15:39:55 CST; 23s ago
 Main PID: 1900 (chronyd)
   CGroup: /system.slice/chronyd.service
           └─1900 /usr/sbin/chronyd

#看到running则表示成功

2、部署HBase（master节点）

先使用xftp上传hbase软件包至/opt/software

# 解压
[root@master ~]# tar xf /opt/software/hbase-1.2.1-bin.tar.gz -C /usr/local/src/
[root@master ~]# cd /usr/local/src/
[root@master src]# mv hbase-1.2.1 hbase
[root@master src]# ls
hadoop  hbase  hive  jdk

# 配置hbase环境变量
[root@master src]# vi /etc/profile.d/hbase.sh
export HBASE_HOME=/usr/local/src/hbase
export PATH=${HBASE_HOME}/bin:$PATH
#保存
[root@master src]# source /etc/profile.d/hbase.sh
[root@master src]# echo $PATH
/usr/local/src/hbase/bin:/usr/local/src/jdk/bin:/usr/local/src/hadoop/bin:/usr/local/src/hadoop/sbin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/usr/local/src/hive/bin:/root/bin

#看到环境变量中有hbase的路径则表示成功

3、配置HBase（master节点）

# 配置HBase
[root@master src]# cd /usr/local/src/hbase/conf/
[root@master conf]# vi hbase-env.sh
export JAVA_HOME=/usr/local/src/jdk
export HBASE_MANAGES_ZK=true
export HBASE_CLASSPATH=/usr/local/src/hadoop/etc/hadoop/
#保存
[root@master conf]# vi hbase-site.xml
<configuration>
        <property>
                <name>hbase.rootdir</name>
                <value>hdfs://master:9000/hbase</value>
        </property>
        <property>
                <name>hbase.master.info.port</name>
                <value>60010</value>
        </property>
        <property>
                <name>hbase.zookeeper.property.clientPort</name>
                <value>2181</value>
        </property>
        <property>
                <name>zookeeper.session.timeout</name>
                <value>10000</value>
        </property>
        <property>
                <name>hbase.zookeeper.quorum</name>
                <value>master,slave1,slave2</value>
        </property>
        <property>
                <name>hbase.tmp.dir</name>
                <value>/usr/local/src/hbase/tmp</value>
                </property>
        <property>
                <name>hbase.cluster.distributed</name>
                <value>true</value>
        </property>
</configuration>
#保存
[root@master conf]# vi regionservers
192.168.100.20
192.168.100.30
#保存
[root@master conf]# mkdir -p /usr/local/src/hbase/tmp

4、拷贝文件到slave节点

# master节点
[root@master conf]# scp -r /usr/local/src/hbase slave1:/usr/local/src/
[root@master conf]# scp -r /usr/local/src/hbase slave2:/usr/local/src/
[root@master conf]# scp /etc/profile.d/hbase.sh slave1:/etc/profile.d/
[root@master conf]# scp /etc/profile.d/hbase.sh slave2:/etc/profile.d/

5、修改权限，切换用户（所有节点）

# master节点
[root@master conf]# chown -R hadoop.hadoop /usr/local/src
[root@master conf]# ll /usr/local/src/
total 0
drwxr-xr-x. 12 hadoop hadoop 183 Apr  9 09:57 hadoop
drwxr-xr-x   8 hadoop hadoop 171 Apr 15 15:59 hbase
drwxr-xr-x. 11 hadoop hadoop 215 Apr  9 10:40 hive
drwxr-xr-x.  8 hadoop hadoop 255 Sep 14  2017 jdk
[root@master conf]# su - hadoop

# slave1节点
[root@slave1 ~]# chown -R hadoop.hadoop /usr/local/src
[root@slave1 ~]# ll /usr/local/src/
total 0
drwxr-xr-x. 12 hadoop hadoop 183 Apr  9 09:59 hadoop
drwxr-xr-x   8 hadoop hadoop 171 Apr 15 16:19 hbase
drwxr-xr-x.  8 hadoop hadoop 255 Apr  8 17:24 jdk
[root@slave1 ~]# su - hadoop

# slave2节点
[root@slave2 ~]# ll /usr/local/src/
总用量 0
drwxr-xr-x. 12 hadoop hadoop 183 4月   9 09:59 hadoop
drwxr-xr-x   8 hadoop hadoop 171 4月  15 16:19 hbase
drwxr-xr-x.  8 hadoop hadoop 255 4月   8 17:24 jdk
[root@slave2 ~]# su - hadoop

6、启动hadoop（master节点）

#在master上启动分布式hadoop集群
[hadoop@master ~]$ start-all.sh
[hadoop@master ~]$ jps
3210 Jps
2571 NameNode
2780 SecondaryNameNode
2943 ResourceManager

# 查看slave1节点
[hadoop@slave1 ~]$ jps
2512 DataNode
2756 Jps
2623 NodeManager

# 查看slave2节点
[hadoop@slave2 ~]$ jps
3379 Jps
3239 NodeManager
3135 DataNode

#确保master上有NameNode、SecondaryNameNode、 ResourceManager进程, slave节点上要有DataNode、NodeManager进程

7、启动hbase（master节点）

[hadoop@master ~]$ start-hbase.sh
[hadoop@master ~]$ jps
3569 HMaster
2571 NameNode
2780 SecondaryNameNode
3692 Jps
2943 ResourceManager
3471 HQuorumPeer

# 查看slave1节点
[hadoop@slave1 ~]$ jps
2512 DataNode
2818 HQuorumPeer
2933 HRegionServer
3094 Jps
2623 NodeManager

# 查看slave2节点
[hadoop@slave2 ~]$ jps
3239 NodeManager
3705 Jps
3546 HRegionServer
3437 HQuorumPeer
3135 DataNode

#确保master上有HQuorumPeer、HMaster进程，slave节点上要有HQuorumPeer、HRegionServer进程

8、查看浏览器页面

在windows主机上执行:
在C:\windows\system32\drivers\etc\下面把hosts文件拖到桌面上，然后编辑它加入master的主机名与IP地址的映射关系，在浏览器上输入http://master:60010访问hbase的web界面

192.168.100.10  master  master.example.com
192.168.100.20  slave1  slave1.example.com
192.168.100.30  slave2  slave2.example.com

9、hbase语法应用（master节点）

[hadoop@master ~]$ hbase shell
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/usr/local/src/hbase/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/usr/local/src/hadoop/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
HBase Shell; enter 'help<RETURN>' for list of supported commands.
Type "exit<RETURN>" to leave the HBase Shell
Version 1.2.1, r8d8a7107dc4ccbf36a92f64675dc60392f85c015, Wed Mar 30 11:19:21 CDT 2016

# 创建一张名为scores的表，表内有两个列簇
hbase(main):001:0> create 'scores','grade','course'
0 row(s) in 1.3950 seconds

=> Hbase::Table - scores

# 查看hbase状态
hbase(main):002:0> status
1 active master, 0 backup masters, 2 servers, 0 dead, 1.5000 average load

# 查看数据库版本
hbase(main):003:0> version
1.2.1, r8d8a7107dc4ccbf36a92f64675dc60392f85c015, Wed Mar 30 11:19:21 CDT 2016

# 查看表
hbase(main):004:0> list
TABLE                                                                                            
scores                                                                                           
1 row(s) in 0.0150 seconds

=> ["scores"]

# 插入记录
hbase(main):005:0> put 'scores','jie','grade:','146cloud'
0 row(s) in 0.1000 seconds

hbase(main):006:0> put 'scores','jie','course:math','86'
0 row(s) in 0.0160 seconds

hbase(main):007:0> put 'scores','jie','course:cloud','92'
0 row(s) in 0.0120 seconds

hbase(main):008:0> put 'scores','shi','grade:','133soft'
0 row(s) in 0.0120 seconds

hbase(main):009:0> put 'scores','shi','course:math','87'
0 row(s) in 0.0080 seconds

hbase(main):010:0> put 'scores','shi','course:cloud','96'
0 row(s) in 0.0080 seconds

# 读取的记录
hbase(main):011:0> get 'scores','jie'
COLUMN                    CELL                                                                   
 course:cloud             timestamp=1650090459825, value=92                                      
 course:math              timestamp=1650090453152, value=86                                      
 grade:                   timestamp=1650090446128, value=146cloud                                
3 row(s) in 0.0190 seconds

hbase(main):012:0> get 'scores','jie','grade'
COLUMN                    CELL                                                                   
 grade:                   timestamp=1650090446128, value=146cloud                                
1 row(s) in 0.0080 seconds

# 查看整个表记录
hbase(main):013:0> scan 'scores'
ROW                       COLUMN+CELL                                                            
 jie                      column=course:cloud, timestamp=1650090459825, value=92                 
 jie                      column=course:math, timestamp=1650090453152, value=86                  
 jie                      column=grade:, timestamp=1650090446128, value=146cloud                 
 shi                      column=course:cloud, timestamp=1650090479946, value=96                 
 shi                      column=course:math, timestamp=1650090475684, value=87                  
 shi                      column=grade:, timestamp=1650090464698, value=133soft                  
2 row(s) in 0.0200 seconds

# 按例查看表记录
hbase(main):014:0> scan 'scores',{COLUMNS=>'course'}
ROW                       COLUMN+CELL                                                            
 jie                      column=course:cloud, timestamp=1650090459825, value=92                 
 jie                      column=course:math, timestamp=1650090453152, value=86                  
 shi                      column=course:cloud, timestamp=1650090479946, value=96                 
 shi                      column=course:math, timestamp=1650090475684, value=87                  
2 row(s) in 0.0140 seconds

# 删除指定记录
hbase(main):015:0> delete 'scores','shi','grade'
0 row(s) in 0.0190 seconds

# 增加新的名为age的列簇
hbase(main):016:0> alter 'scores',NAME=>'age'
Updating all regions with the new schema...
1/1 regions updated.
Done.
0 row(s) in 1.9080 seconds

# 查看表结构
hbase(main):017:0> describe 'scores'
Table scores is ENABLED                                                                          
scores                                                                                           
COLUMN FAMILIES DESCRIPTION                                                                      
{NAME => 'age', BLOOMFILTER => 'ROW', VERSIONS => '1', IN_MEMORY => 'false', KEEP_DELETED_CELLS =
> 'FALSE', DATA_BLOCK_ENCODING => 'NONE', TTL => 'FOREVER', COMPRESSION => 'NONE', MIN_VERSIONS =
> '0', BLOCKCACHE => 'true', BLOCKSIZE => '65536', REPLICATION_SCOPE => '0'}                     
{NAME => 'course', BLOOMFILTER => 'ROW', VERSIONS => '1', IN_MEMORY => 'false', KEEP_DELETED_CELL
S => 'FALSE', DATA_BLOCK_ENCODING => 'NONE', TTL => 'FOREVER', COMPRESSION => 'NONE', MIN_VERSION
S => '0', BLOCKCACHE => 'true', BLOCKSIZE => '65536', REPLICATION_SCOPE => '0'}                  
{NAME => 'grade', BLOOMFILTER => 'ROW', VERSIONS => '1', IN_MEMORY => 'false', KEEP_DELETED_CELLS
 => 'FALSE', DATA_BLOCK_ENCODING => 'NONE', TTL => 'FOREVER', COMPRESSION => 'NONE', MIN_VERSIONS
 => '0', BLOCKCACHE => 'true', BLOCKSIZE => '65536', REPLICATION_SCOPE => '0'}                   
3 row(s) in 0.0230 seconds

# 删除名为age的列簇
hbase(main):018:0> alter 'scores',NAME=>'age',METHOD=>'delete'
Updating all regions with the new schema...
1/1 regions updated.
Done.
0 row(s) in 1.8940 seconds

# 删除表
hbase(main):019:0> disable 'scores'
0 row(s) in 2.2400 seconds

# 退出hbase
hbase(main):020:0> drop 'scores'
0 row(s) in 1.2450 seconds

hbase(main):021:0> list
TABLE                                                                                            
0 row(s) in 0.0040 seconds

=> []

# 退出hbase
hbase(main):022:0> quit

10、关闭hbase（master节点）

# 关闭hbase
[hadoop@master ~]$ stop-hbase.sh
stopping hbase...............

[hadoop@master ~]$ jps
44952 NameNode
45306 ResourceManager
46988 Jps
45150 SecondaryNameNode

# 关闭hadoop
[hadoop@master ~]$ stop-all.sh
This script is Deprecated. Instead use stop-dfs.sh and stop-yarn.sh
Stopping namenodes on [master]
…………
[hadoop@master ~]$ jps
47438 Jps

声明：未经许可，不得转载
原文地址：https://www.cnblogs.com/wzgwzg/p/16152890.html

文章推荐：前端 --- JavaScript 语法基础

文章推荐：存在哪些常用的meta标签？

文章推荐： leetcode刷题(第538题)——把二叉搜索树转换为累加树

文章推荐：深入理解java并发编程之线程池原理和源码

java - 配置 logback 以遵循 Java 配置，也就是 Logback 的纯 Java 配置
我只是不喜欢 Logback 的 XML 或 Groovy 配置，而更喜欢用 Java 进行配置(这也是因为我将在初始化后的不同时间在运行时更改配置)。似乎对 Logback 进行 Java 配置的
yaml - sphinx 配置 ||配置/sphinx.yml
我的 sphinx 配置是: ================================ config/sphinx.yml development: bin_path: "/usr/loc
Sitecore 性能优化 - Sitecore 配置、IIS 配置
我们计划在生产服务器中部署我们的系统。我有兴趣了解更多有关优化网站性能的信息。 Sitecore 有哪些优化建议？ (缓存，网络配置中的其他设置) 我们可以在 IIS 中做哪些优化？找不到关于这些主
python - 根目录上静态站点的 Apache 配置，子位置上的 Django 配置
我有一个 Django 应用程序，可以处理网站的两个(或更多)部分，例如网站的“admin”和“api”部分。我还为网站的其余部分提供了普通的 html 页面，其中不需要 Django。例如，我希望
node.js - 配置 Dockerfile 以设置 AWS 配置
我刚刚开始研究Docker。我有一个 Node 应用程序，可以调整大小和图像，然后在完成后向 aws 发送 SQS 消息。我已成功创建应用程序的 docker 镜像，并从本地计算机复制它，但遇到了无法
ant - 如何在 Hudson 中为 Ant 配置 checkstyle 配置？
如何配置 checkstyle(在 Ant nt Maven 中)任务？我尝试了一点，但没有正确收到报告。这是我的 Ant 脚本。
java - 如何将 xml 配置 bean 转换为 Java 配置 bean？
我正在使用 Quartz 和 Spring 框架重写一个遗留项目。原始配置是 XML 格式，现在我将其转换为 Java Config。 xml 配置使用 jobDetail 设置触发器 bean 的作
mysql - 最佳 Mysql 配置(分区)和索引/Hypertable/RAID 配置(大数据库)
tl;rd: 使用主键对数据库进行分区索引大小问题。数据库大小每天增长约 1-3 GB 突袭设置。您有使用 Hypertable 的经验吗？长版: 我刚刚建立/购买了一个家庭服务器: 至强 E
使用图形 API 配置 GCP 的 Azure AD saml 配置 "Sign on URL"
在安装 gcp 应用程序后，我们尝试使用 GCP 的图形 api 配置 Azure Active Directory saml 配置。我们正在遵循相同的 AWS graph api saml 设置 U
java - 如何使用 Spring-Security 3 和 Hibernate 4 将 spring security xml 配置 hibernate 转换为 java 配置
我刚刚了解了 spring security 并想使用 java hibernate 配置连接到数据库，但我发现的示例或教程很少。我通过使用 xml 配置找到了更多。我在这里使用 Spring 4.0
java - 是否可以通过 jboss-deployment-struction.xml 配置 JPA 2.1，为 Spring 4 和 Hibernate 4.3.10 配置 JBoss EAP 6.4.x？
我们最近切换到 Java 8 以使用 java.time API(LocalDate、LocalDateTime，...)。因此，我们将 Hibernate 依赖项更新到版本 4.3.10。我们编写了
quarkus实战之六：配置
欢迎访问我的GitHub 这里分类和汇总了欣宸的全部原创(含配套源码)：https://github.com/zq2599/blog_demos 本篇概览本文是《quarkus实战》系列的第六篇，咱
NGINX 配置 :
我是 NGINX 的新手，我正在尝试对我们的 ERP 网络服务器进行负载平衡。我有 3 个网络服务器在由 websphere 提供支持的端口 80 上运行，这对我来说是一个黑盒子: * web01.e
Gerrit 配置
我们想使用 gerrit 进行代码审查，但我们在 webview 中缺少一些设置。是否可以禁止提交者审查/验证他们自己的提交？是否有可能两个审稿人给 +1 一个累积它到+2，以便可以提交？谢
AEM 配置
配置根据运行模式应用于 AEM 实例。在多个运行模式和多个配置的情况下，AEM 如何确定要选择的配置文件？假设以下配置在 AEM 项目中可用， /apps /myproject - con
Neo4j 配置
我正在使用 Neo4j 服务器。我遇到了负载相对较低的问题。但是，响应时间相当长。我认为为请求提供服务的线程数太少了。有没有办法调整为 HTTP 请求提供服务的线程池的大小。那可能吗？最佳答案线程
CELERYD_OPTS 配置
我在/etc/default/celeryd 中有以下配置 CELERYD_NODES = "worker1 worker2 worker3" CELERYD_CHDIR = "path to pro
Plone 配置
Plone 在其页面中显示来 self 的母语(巴西葡萄牙语)的特殊字符。但是，当我使用我创建的 spt 页面时，它会显示转义序列，例如: Educa\xc3\xa7\xc3\xa3o 代替 Educ
Emacs 配置
我正在尝试开始使用 Emacs/Clojure。安装 emacs 扩展的正确方法是什么。我正在尝试安装以下插件: https://bitbucket.org/kotarak/vimclojure 我已
CMake 配置
我有一个简单的 C 项目结构: proj/ src/ docs/ build/ tests/ lib/ 尝试编写合适的 CMake 文件。到目前为止我的尝试:http://pas

知者

个人简介

我是一名优秀的程序员,十分优秀！

作者热门文章

滴滴打车优惠券免费领取

全站热门文章

首页

博学

6Ren·AI

商城