org.apache.hadoop.hbase.zookeeper.ZKUtil.transformClusterKey()方法的使用及代码示例

转载 作者：知者 更新时间：2024-03-15 23:24:40 26 4

/**
 * Apply the settings in the given key to the given configuration, this is
 * used to communicate with distant clusters
 * @param conf configuration object to configure
 * @param key string that contains the 3 required configuratins
 * @throws IOException
 */
public static void applyClusterKeyToConf(Configuration conf, String key)
  throws IOException{
 String[] parts = transformClusterKey(key);
 conf.set(HConstants.ZOOKEEPER_QUORUM, parts[0]);
 conf.set(HConstants.ZOOKEEPER_CLIENT_PORT, parts[1]);
 conf.set(HConstants.ZOOKEEPER_ZNODE_PARENT, parts[2]);
}

public static void initCredentials(Job job) throws IOException {
 if (User.isHBaseSecurityEnabled(job.getConfiguration())) {
  try {
   // init credentials for remote cluster
   String quorumAddress = job.getConfiguration().get(
     TableOutputFormat.QUORUM_ADDRESS);
   if (quorumAddress != null) {
    String[] parts = ZKUtil.transformClusterKey(quorumAddress);
    Configuration peerConf = HBaseConfiguration.create(job
      .getConfiguration());
    peerConf.set(HConstants.ZOOKEEPER_QUORUM, parts[0]);
    peerConf.set("hbase.zookeeper.client.port", parts[1]);
    peerConf.set(HConstants.ZOOKEEPER_ZNODE_PARENT, parts[2]);
    User.getCurrent().obtainAuthTokenForJob(peerConf, job);
   }
   
   User.getCurrent().obtainAuthTokenForJob(job.getConfiguration(), job);
  } catch (InterruptedException ie) {
   LOG.info("Interrupted obtaining user authentication token");
   Thread.interrupted();
  }
 }
}

ZKUtil.transformClusterKey(quorumAddress);
conf.set(TableOutputFormat.QUORUM_ADDRESS, quorumAddress);

ZKUtil.transformClusterKey(quorumAddress);
conf.set(TableOutputFormat.QUORUM_ADDRESS,quorumAddress);

26 4 0

• apache-zookeeper - Zookeeper - 在哪里可以找到正在运行的 Zookeeper 实例的 "real"版本？

  我最近安装了一个带有 Exhibitor 的新 ZK 节点，它开始正常。当我执行 telnet localhost 2181 然后运行 ​​stats 以查看版本时，即使我安装了 3.4.11，我仍然

• apache-zookeeper - 如何通过 Zookeeper shell 以 'super' 用户身份访问 Zookeeper 集合？

  每 the zookeeper docs , 可以创建一种以“ super ”用户身份访问 Zookeeper 集合的方法。这样做的方向在配置和连接方法方面都有些模糊。它确实巧妙地表明这只能通过 Ja

• apache-zookeeper - Zookeeper，数据版本控制

  场景如下: Znode 创建:create/config 12345(例如创建于12/12/12) 更新此配置，设置/config 34567(例如在 2013 年 12 月 12 日修改) 一个月后

• apache-zookeeper - zookeeper 检查特定服务器是否是领导者

  使用Zookeeper API，是否可以知道当前服务器是否是Zookeeper集群的leader？ 文档提到领导者看到了所有追随者中最高的zxid。。是否有可能以某种方式检查？ 最佳答案 您可以从不同

• apache-zookeeper - ZooKeeper 快照文件是否足以恢复状态？

  我正在学习 ZooKeeper 并研究备份存储在 ZooKeeper 中的数据的选项。 ZooKeeper 写入两个数据文件，快照和事务日志。人们经常提到快照是“模糊的”，需要重放事务日志以获取最新状

• apache-zookeeper - ZooKeeper 集成集群中的最大服务器数？

  用例:一个池中有 100 个服务器；我想在每个服务器上启动一个 ZooKeeper 服务，服务器应用程序(ZooKeeper 客户端)将使用 ZooKeeper 集群(读/写)。那么就没有单点故障。

• apache-zookeeper - Zookeeper 数据目录清理

  我正在运行 3 节点 zookeeper 集群来处理 Storm 和 kafka.Zookeeper 数据目录占用了我系统中的所有空间。我不知道如何清理它。因为，我不想完全删除数据，因为我会丢失进程的

• apache-zookeeper - Zookeeper 整体数据大小限制

  我是 Zookeeper 的新手，试图了解它是否适​​合我的用例。 我有 1000 万个分层数据，我想将它们存储在 Zookeeper 中。 10M 键值对，键值对大小分别为 1KB。 因此，在没有复

• apache-zookeeper - ZooKeeper 如何提供顺序一致性

  在 here 有人说: "even if you read from a different follower every time, you'll never see version 3 of th

• apache-zookeeper - Zookeeper 临时节点是否写入磁盘？

  Zookeeper 临时节点是否写入磁盘？ 我知道在 Zookeeper 确认写入客户端之前，正常的 Zookeeper 节点已写入磁盘。 但是，临时节点仅在客户端 session 期间持续，因此如果

• apache-zookeeper - Zookeeper 自动清除功能不起作用

  在开发阶段使用zookeeper大约6个月后，虽然运行良好，但其数据目录的大小增长到 6 GIG !而且还在增加。下面列出了一些系统规范: zookeeper version: 3.4.6 numbe

• apache-zookeeper - ZooKeeper 在裂脑场景中的内部行为

  我试图了解 Apache ZooKeeper 在裂脑情况下的内部工作原理。假设有一个由 5 个服务器组成的集群:A、B、C、D 和 E，其中 A 是领导者。现在假设子簇 {A, B} 与子簇 {C,

• apache-zookeeper - Zookeeper 法定人数和非法定人数

  动物园管理员专家。 我问的问题对你来说可能很基础，但我是 ZK 的新手，我还没有掌握该工具，所以请原谅。考虑到这一点，这是我的问题。 假设我有一个由 5 个服务器组成的 ZK 集群，我有 3 个法定人

• apache-zookeeper - Zookeeper 中的分层仲裁

  我正在尝试了解 Zookeeper 中的分层仲裁。文档 here 举了一个例子，但我仍然不确定我是否理解它。我的问题是，如果我有一个双节点 Zookeeper 集群(我知道不推荐这样做，但为了这个例子

• apache-zookeeper - Zookeeper 连接超时问题

  我们使用的是2.3.0版本的curator-framework连接pom文件中的zookeeper。 org.apache.curator curator-fram

• apache-zookeeper - Zookeeper 连接错误

  我们在开发机器上有一个独立的 zookeeper 设置。除了这台 testdev 机器之外，它适用于所有其他开发机器。 尝试通过 testdev 连接到 zookeeper 时，我们一遍又一遍地收到此

• apache-zookeeper - Zookeeper 事务日志变得非常大

  zookeeper 事务日志变得非常大(数千兆字节!)并且集群的每台机器中始终存在一个或最多两个事务日志文件，因为知道可能存在多个快照! .. 引入 autopurge.purgeInterval 和

• org.apache.flink.shaded.zookeeper.org.apache.zookeeper.ZooKeeper.getSessionId()方法的使用及代码示例

  本文整理了Java中org.apache.flink.shaded.zookeeper.org.apache.zookeeper.ZooKeeper.getSessionId()方法的一些代码示例，展

• apache-zookeeper - 使用 zookeeper-shell.sh 验证 path(znode) 是否存在于 zookeeper 中

  我需要一些帮助来使用 zookeeper-shell.sh 验证 znode(path) 是否存在于 zookeeper 中 示例:bin/zookeeper-shell.sh zk:9091 ls/

• apache-zookeeper - Zookeeper 通信协议(protocol)

  我需要使用 tcpdump 调试我的 kafka 消费者和 zookeeper 之间交换的数据。我浏览了 zookeeper 文档，但找不到任何关于 zookeeper 通信协议(protocol)的