hadoop - HBase使用HDFS HA-6ren

hadoop - HBase使用HDFS HA

转载作者：行者123 更新时间：2023-12-02 18:57:00

我正在尝试使用Hadoop HA设置hbase ha。

我已经设置了Hadoop HA，并对其进行了测试。

但是在HBase安装中，启动时出现以下错误:

2020-05-02 16:11:09,336 INFO  [main] ipc.RpcServer: regionserver/cluster-hadoop-01/172.18.20.3:16020: started 10 reader(s) listening on port=16020
2020-05-02 16:11:09,473 INFO  [main] metrics.MetricRegistries: Loaded MetricRegistries class org.apache.hadoop.hbase.metrics.impl.MetricRegistriesImpl
2020-05-02 16:11:09,840 ERROR [main] regionserver.HRegionServerCommandLine: Region server exiting
java.lang.RuntimeException: Failed construction of Regionserver: class org.apache.hadoop.hbase.regionserver.HRegionServer
    at org.apache.hadoop.hbase.regionserver.HRegionServer.constructRegionServer(HRegionServer.java:2896)
    at org.apache.hadoop.hbase.regionserver.HRegionServerCommandLine.start(HRegionServerCommandLine.java:64)
    at org.apache.hadoop.hbase.regionserver.HRegionServerCommandLine.run(HRegionServerCommandLine.java:87)
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:76)
    at org.apache.hadoop.hbase.util.ServerCommandLine.doMain(ServerCommandLine.java:127)
    at org.apache.hadoop.hbase.regionserver.HRegionServer.main(HRegionServer.java:2911)
Caused by: java.lang.reflect.InvocationTargetException
    at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
    at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
    at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
    at java.lang.reflect.Constructor.newInstance(Constructor.java:423)
    at org.apache.hadoop.hbase.regionserver.HRegionServer.constructRegionServer(HRegionServer.java:2894)
    ... 5 more
Caused by: java.lang.IllegalArgumentException: java.net.UnknownHostException: hdfscluster
    at org.apache.hadoop.security.SecurityUtil.buildTokenService(SecurityUtil.java:417)
    at org.apache.hadoop.hdfs.NameNodeProxiesClient.createProxyWithClientProtocol(NameNodeProxiesClient.java:132)
    at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:351)
    at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:285)
    at org.apache.hadoop.hdfs.DistributedFileSystem.initialize(DistributedFileSystem.java:160)
    at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2812)
    at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:100)
    at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2849)
    at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2831)
    at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:389)
    at org.apache.hadoop.fs.Path.getFileSystem(Path.java:356)
    at org.apache.hadoop.hbase.util.CommonFSUtils.getRootDir(CommonFSUtils.java:309)
    at org.apache.hadoop.hbase.util.CommonFSUtils.isValidWALRootDir(CommonFSUtils.java:358)
    at org.apache.hadoop.hbase.util.CommonFSUtils.getWALRootDir(CommonFSUtils.java:334)
    at org.apache.hadoop.hbase.regionserver.HRegionServer.initializeFileSystem(HRegionServer.java:683)
    at org.apache.hadoop.hbase.regionserver.HRegionServer.<init>(HRegionServer.java:626)
    ... 10 more
Caused by: java.net.UnknownHostException: hdfscluster
    ... 26 more

我认为我的HBase设置无法识别我的名称服务 hdfscluster 。

我尝试了Hadoop 2.X和Hadoop3.X。

Hadoop 2.X:Hadoop 2.10.0和HBase 1.6.0＆JDK 1.8.0_251＆ZooKeeper 3.6.0。

Hadoop 3.X:Hadoop 3.2.1＆HBase 2.2.4＆JDK 1.8.0_251＆ZooKeeper 3.6.0。

操作系统版本:Ubuntu 16.04.6

我的core-site.xml有

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hdfscluster</value>
    </property>
    <property>
        <name>io.file.buffer.size</name>
        <value>131072</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/data/hadoop/tmp</value>
    </property>
    <property>
        <name>ha.zookeeper.quorum</name>
        <value>cluster-hadoop-01:2181,cluster-hadoop-02:2181,cluster-hadoop-03:2181</value>
    </property>
</configuration>

我的hdfs-site.xml有

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/data/hadoop/data/hdfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/data/hadoop/data/hdfs/data</value>
    </property>

    <property>
        <name>dfs.nameservices</name>
        <value>hdfscluster</value>
    </property>
    <property>
        <name>dfs.ha.namenodes.hdfscluster</name>
        <value>nn-01,nn-02</value>
    </property>

    <property>
        <name>dfs.namenode.rpc-address.hdfscluster.nn-01</name>
        <value>cluster-hadoop-01:8020</value>
    </property>
    <property>
        <name>dfs.namenode.rpc-address.hdfscluster.nn-02</name>
        <value>cluster-hadoop-02:8020</value>
    </property>

    <property>
        <name>dfs.namenode.http-address.hdfscluster.nn-01</name>
        <value>cluster-hadoop-01:9870</value>
    </property>
    <property>
        <name>dfs.namenode.http-address.hdfscluster.nn-02</name>
        <value>cluster-hadoop-02:9870</value>
    </property>

    <property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://cluster-hadoop-01:8485;cluster-hadoop-02:8485;cluster-hadoop-03:8485/hdfscluster</value>
    </property>
    <property>
        <name>dfs.journalnode.edits.dir</name>
        <value>/data/hadoop/tmp/journalnode</value>
    </property>

    <property>
        <name>dfs.ha.automatic-failover.enabled</name>
        <value>true</value>
    </property>
    <property>
        <name>dfs.client.failover.proxy.provider</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
    <property>
        <name>dfs.ha.fencing.methods</name>
        <value>sshfence(hadoop:22)</value>
    </property>
    <property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/home/hadoop/.ssh/id_rsa</value>
    </property>
    <property>
        <name>dfs.ha.fencing.ssh.connect-timeout</name>
        <value>30000</value>
    </property>
</configuration>

我的hbase-site.xml有

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://hdfscluster/hbase</value>
    </property>

    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>

    <property>
        <name>hbase.zookeeper.quorum</name>
        <value>cluster-hadoop-01,cluster-hadoop-02,cluster-hadoop-03</value>
    </property>
    <property>
        <name>hbase.zookeeper.property.clientPort</name>
        <value>2181</value>
    </property>
    <property>
        <name>hbase.zookeeper.property.dataDir</name>
        <value>/data/zookeeper/data</value>
    </property>

    <property>
        <name>hbase.tmp.dir</name>
        <value>/data/hbase/tmp</value>
    </property>
</configuration>

我的hbase-env.sh有

export JAVA_HOME="/opt/jdk"
export HBASE_MANAGES_ZK=false
export HADOOP_HOME="/opt/hadoop"
export HBASE_CLASSPATH=".:${HADOOP_HOME}/etc/hadoop"
export HBASE_LOG_DIR="/data/hbase/log"

我的HBase conf路径:

root@cluster-hadoop-01:~# ll /opt/hbase/conf/
total 56
drwxr-xr-x 2 root root 4096 May  2 16:31 ./
drwxr-xr-x 7 root root 4096 May  2 01:18 ../
-rw-r--r-- 1 root root   18 May  2 10:36 backup-masters
lrwxrwxrwx 1 root root   36 May  2 12:04 core-site.xml -> /opt/hadoop/etc/hadoop/core-site.xml
-rw-r--r-- 1 root root 1811 Jan  6 01:24 hadoop-metrics2-hbase.properties
-rw-r--r-- 1 root root 4616 Jan  6 01:24 hbase-env.cmd
-rw-r--r-- 1 root root 7898 May  2 10:36 hbase-env.sh
-rw-r--r-- 1 root root 2257 Jan  6 01:24 hbase-policy.xml
-rw-r--r-- 1 root root  841 May  2 16:10 hbase-site.xml
lrwxrwxrwx 1 root root   36 May  2 12:04 hdfs-site.xml -> /opt/hadoop/etc/hadoop/hdfs-site.xml
-rw-r--r-- 1 root root 1169 Jan  6 01:24 log4j-hbtop.properties
-rw-r--r-- 1 root root 4949 Jan  6 01:24 log4j.properties
-rw-r--r-- 1 root root   54 May  2 10:33 regionservers

最佳答案

经过不断的尝试，我找到了解决方案，但我仍然不知道原因。
修改hdfs-site.xml配置文件:

    <property>
        <name>dfs.client.failover.proxy.provider.hdfscluster</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>

正式文档不需要名称服务ID。

链接:https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html

关于hadoop - HBase使用HDFS HA，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/61556521/

文章推荐： hadoop - hadoop 2中的HDFS是否具有辅助名称节点？

文章推荐： bash - 如何在 shell 脚本中自动登录 Quay.io？

文章推荐： nginx - 无法连接到 Docker Nginx 构建

文章推荐： amazon-web-services - 在没有EMR的AWS上运行HDFS集群

hbase - HBase 什么时候真正删除一行？
发出时Delete对于 hbase，我知道它不会立即删除数据。但是什么时候删除数据，我的意思是，物理上？最佳答案当您向 HBase 写入内容时，它会存储在内存存储 (RAM) 中，然后再写入磁盘。
hbase - HBase 会在不同机器上存储同一行的列族吗？
同一行的列族属于同一个 RegionServer。那么，这里的问题是一个 RegionServer 会在不同的机器上存储不同的列族吗？最佳答案不一定，但在某些时候它会。这是基本 HBase 架构
hbase - hbase 中是否有最大版本号？
如果我想插入表格: row | fam:qualifier | timestamp | value 1 | foo:bar | 12345 | 2 1 | foo:bar | 12346 | 3 1
hbase - 如何停止在 hbase shell 中运行的命令而不退出 hbase shell
有时我想退出我在 HBase shell 中运行的命令，例如扫描操作通常需要太多时间。所以我想停止运行这个命令，但我不想退出 HBase shell。我常用的停止运行命令的方式，我使用了Ctrl+
hbase - Hbase 中的多个数据库或命名空间
有没有办法设置 Hbase 以便我们可以在同一个集群中创建多个数据库？最佳答案只是为了刷新主题:http://hbase.apache.org/book.html#namespace 5.3.1.
hbase - 我使用的是哪个版本的 hbase？
怎么看version的 hbase我在用？你能下命令吗？最佳答案 hbase version命令行界面中的命令给出了 version的 hbase正在使用中。以下是来自 Cloudera 的两个
hbase - HBase 是否对每行施加了最大大小？
高级问题: HBase 是否对所有分布(因此不是实现的工件)通用的每行施加了最大大小，无论是在方面吗？字节存储或在方面细胞数 ? 如果是这样: 限制是什么？极限存在的原因是什么？限制在哪里记
hbase - 将数据仓库星型模式映射到 HBASE
假设，假设我在数据仓库设置中有一个星型模式。有一个非常非常长的事实表(想想几十亿到几万亿行)和几个低基数维度表(想想 100 个维度表)。每个事实表外键指向一个维度表的主键是位图索引的。每个维度表
hbase - 如何确保 HBase Java 客户端正在使用 hbase-site.xml
版本:Hadoop: 2.0.0-cdh4.3.1 HBase: 0.94.6-cdh4.3.1 我正在运行 cloudera quick start vm，这是我的小型远程 HBase Java 客
ubuntu - HBase - 运行 start-hbase.sh 时出现完全分布式 HBase 错误
我正在尝试以完全分布式模式配置 HBase。 (使用 Ubuntu 12.04，Apache Hadoop 2.2(以伪模式运行，HBase 版本 0.98) 以下是我的 bashrc 设置: exp
hbase - hbase-site.xml 中的 hbase.zookeeper.quorum 是什么
我想知道如何正确配置 hbase.zookeeper.quorum 以将 zookeeper 实例指向集群模式。最佳答案 hbase.zookeeper.quorum 属性是运行 ZooKeeper
hbase - hbase-site.xml 中的 hbase.zookeeper.quorum 是什么
我想知道如何正确配置 hbase.zookeeper.quorum 以将 zookeeper 实例指向集群模式。最佳答案 hbase.zookeeper.quorum 属性是运行 ZooKeeper
hadoop - Hbase mapside join-其中一张表没有被读取？从 hbase 中读取正确的结果到 hbase
我正在尝试对位于 Hbase 中的两个表进行映射连接。我的目的是在hashmap中保留小表的记录并与大表进行比较，一旦匹配，再次将记录写入hbase中的表中。我使用 Mapper 和 Reducer
hadoop - HBase ERROR : hbase-default. xml 文件似乎是针对旧版本的 HBase (null)
我正在尝试编写一个程序来连接到 HBase。但是当我执行以下命令时HBaseConfiguration.create();我收到以下错误:. "hbase-default.xml 文件似乎是旧版本的
hbase - 为什么说 HBase 行按字典顺序存储？
基于HBase documentation ，再次遵循 Google BigTable 论文的引用，据说这些行是按行键的字典顺序存储的。很明显，当我们在 rowkey 中有一个字符串或者如果我们将一
hbase - 如何进行 hbase 范围扫描？
我有一个 hbase 表，其中的行键如 row1、row2、row3 .... 和 rowN，我想要的是获取行键从 row100 到 row200 的行，如何编写查询子句或将 hbase 表设计为让查
hbase - 在 HBASE 上创建命名空间
我正在尝试创建命名空间，但出现类似下面给出的错误 hbase(main):031:0> create namespace 'Aniruddha'
hbase - 适用的 HBase 表模型
我发现为以下要求建模 HBase 表有困难。我有一个表“商店”，它存储了商店的详细信息(必胜客)。我有一个表格“订单”，其中包含交易摘要(总交易金额等...)。我有另一个表“Order_Item
hbase - 在不禁用 HBASE 表的情况下更改表结构的含义
谁能告诉我如果在不首先禁用表的情况下使用“alter”命令可能影响表结构的可能影响？据我所知，禁用表意味着关闭与表的所有连接。如果我在不禁用表的情况下使用 alter，可能会发生什么异常情况？我正
hbase - 无法从 HBase 导出表
我无法将表从 HBase 导出到 HDFS。下面是错误跟踪。它是相当大的尺寸。还有其他方法可以导出吗？我使用以下命令导出。我增加了 rpc 超时，但工作仍然失败。 sudo -u hdfs hbas

行者123

个人简介

我是一名优秀的程序员,十分优秀！

作者热门文章

滴滴打车优惠券免费领取

全站热门文章

首页

博学

6Ren·AI

商城

hadoop - HBase使用HDFS HA