com.github.sakserv.minicluster.util.WindowsLibsUtils类的使用及代码示例-6ren

com.github.sakserv.minicluster.util.WindowsLibsUtils类的使用及代码示例

转载作者：知者更新时间：2024-03-26 22:49:05

本文整理了Java中com.github.sakserv.minicluster.util.WindowsLibsUtils类的一些代码示例，展示了WindowsLibsUtils类的具体用法。这些代码示例主要来源于Github/Stackoverflow/Maven等平台，是从一些精选项目中提取出来的代码，具有较强的参考意义，能在一定程度帮忙到你。WindowsLibsUtils类的具体详情如下：
包路径：com.github.sakserv.minicluster.util.WindowsLibsUtils
类名称：WindowsLibsUtils

WindowsLibsUtils介绍

暂无

代码示例

代码示例来源：origin: sakserv/hadoop-mini-clusters

@Override
public void configure() throws Exception {
  if(null != hdfsEnableRunningUserAsProxyUser && hdfsEnableRunningUserAsProxyUser) {
    hdfsConfig.set("hadoop.proxyuser." + System.getProperty("user.name") + ".hosts", "*");
    hdfsConfig.set("hadoop.proxyuser." + System.getProperty("user.name") + ".groups", "*");
  }
  hdfsConfig.setBoolean("dfs.permissions", hdfsEnablePermissions);
  System.setProperty("test.build.data", hdfsTempDir);
  // Handle Windows
  WindowsLibsUtils.setHadoopHome();
}

代码示例来源：origin: sakserv/hadoop-mini-clusters

public static void setHadoopHome() {
  // Set hadoop.home.dir to point to the windows lib dir
  if (System.getProperty("os.name").startsWith("Windows")) {
    String windowsLibDir = getHadoopHome();
    LOG.info("WINDOWS: Setting hadoop.home.dir: {}", windowsLibDir);
    System.setProperty("hadoop.home.dir", windowsLibDir);
    System.load(new File(windowsLibDir + Path.SEPARATOR + "lib" + Path.SEPARATOR + "hadoop.dll").getAbsolutePath());
    System.load(new File(windowsLibDir + Path.SEPARATOR + "lib" + Path.SEPARATOR + "hdfs.dll").getAbsolutePath());
  }
}

代码示例来源：origin: com.github.sakserv/hadoop-mini-clusters-hbase

@Override
public void configure() throws Exception {
  configure(hbaseConfiguration);
  // Handle Windows
  WindowsLibsUtils.setHadoopHome();
}

代码示例来源：origin: com.github.sakserv/hadoop-mini-clusters-common

public static void setHadoopHome() {
  // Set hadoop.home.dir to point to the windows lib dir
  if (System.getProperty("os.name").startsWith("Windows")) {
    String windowsLibDir = getHadoopHome();
    LOG.info("WINDOWS: Setting hadoop.home.dir: {}", windowsLibDir);
    System.setProperty("hadoop.home.dir", windowsLibDir);
    System.load(new File(windowsLibDir + Path.SEPARATOR + "lib" + Path.SEPARATOR + "hadoop.dll").getAbsolutePath());
    System.load(new File(windowsLibDir + Path.SEPARATOR + "lib" + Path.SEPARATOR + "hdfs.dll").getAbsolutePath());
  }
}

代码示例来源：origin: sakserv/hadoop-mini-clusters

@Override
public void configure() throws Exception {
  // Handle Windows
  WindowsLibsUtils.setHadoopHome();
  configuration.set(YarnConfiguration.RM_ADDRESS, resourceManagerAddress);
  configuration.set(YarnConfiguration.RM_HOSTNAME, resourceManagerHostname);
  configuration.set(YarnConfiguration.RM_SCHEDULER_ADDRESS, resourceManagerSchedulerAddress);
  configuration.set(YarnConfiguration.RM_RESOURCE_TRACKER_ADDRESS, resourceManagerResourceTrackerAddress);
  configuration.set(YarnConfiguration.RM_WEBAPP_ADDRESS, resourceManagerWebappAddress);
  configuration.set(YarnConfiguration.YARN_MINICLUSTER_FIXED_PORTS, "true");
  if (getUseInJvmContainerExecutor()) {
    configuration.set(YarnConfiguration.NM_CONTAINER_EXECUTOR, inJvmContainerExecutorClass);
    configuration.set("fs.hdfs.impl", org.apache.hadoop.hdfs.DistributedFileSystem.class.getName());
    configuration.set("fs.file.impl", org.apache.hadoop.fs.LocalFileSystem.class.getName());
  }
}

代码示例来源：origin: jetoile/hadoop-unit

@Override
public void configure() throws Exception {
  // Handle Windows
  WindowsLibsUtils.setHadoopHome();
  // Oozie has very particular naming conventions for these directories, don't change
  fullOozieHomeDir = oozieTestDir + "/" + oozieHomeDir;
  fullOozieConfDir = fullOozieHomeDir + "/conf";
  fullOozieHadoopConfDir = fullOozieConfDir + "/hadoop-conf";
  fullOozieActionDir = fullOozieConfDir + "/action-conf";
  //set system properties
  System.setProperty(Services.OOZIE_HOME_DIR, new File(fullOozieHomeDir).getAbsolutePath());
  System.setProperty(ConfigurationService.OOZIE_CONFIG_DIR, fullOozieConfDir);
  System.setProperty("oozielocal.log", fullOozieHomeDir + "/oozielocal.log");
  System.setProperty(XTestCase.OOZIE_TEST_JOB_TRACKER, oozieYarnResourceManagerAddress);
  System.setProperty(XTestCase.OOZIE_TEST_NAME_NODE, oozieHdfsDefaultFs);
  System.setProperty("oozie.test.db.host", "localhost");
  System.setProperty(ConfigurationService.OOZIE_DATA_DIR, fullOozieHomeDir);
  System.setProperty(HadoopAccessorService.SUPPORTED_FILESYSTEMS, "*");
  if (oozieShareLibCreate) {
    oozieConf.set("oozie.service.WorkflowAppService.system.libpath",
        oozieHdfsDefaultFs + oozieHdfsShareLibDir);
    oozieConf.set("use.system.libpath.for.mapreduce.and.pig.jobs", "true");
  }
  oozieConf.set("oozie.service.JPAService.jdbc.driver", "org.hsqldb.jdbcDriver");
  oozieConf.set("oozie.service.JPAService.jdbc.url", "jdbc:hsqldb:mem:oozie-db;create=true");
  oozieConf.set(JPAService.CONF_CREATE_DB_SCHEMA, "true");
}

代码示例来源：origin: fr.jetoile.hadoop/hadoop-unit-hive

private HiveConf buildHiveConf() {
    // Handle Windows
    WindowsLibsUtils.setHadoopHome();

    HiveConf hiveConf = new HiveConf();
    hiveConf.set("fs.defaultFS", "hdfs://" + configuration.getString(HdfsConfig.HDFS_NAMENODE_HOST_KEY) + ":" + configuration.getInt(HdfsConfig.HDFS_NAMENODE_PORT_KEY));
//        hiveConf.set(HiveConf.ConfVars.HIVE_TXN_MANAGER.varname, "org.apache.hadoop.hive.ql.lockmgr.DbTxnManager");
//        hiveConf.set(HiveConf.ConfVars.HIVE_COMPACTOR_INITIATOR_ON.varname, "true");
//        hiveConf.set(HiveConf.ConfVars.HIVE_COMPACTOR_WORKER_THREADS.varname, "5");
//        hiveConf.set("hive.root.logger", "DEBUG,console");
//        hiveConf.setIntVar(HiveConf.ConfVars.METASTORETHRIFTCONNECTIONRETRIES, 3);
//        hiveConf.set(HiveConf.ConfVars.PREEXECHOOKS.varname, "");
//        hiveConf.set(HiveConf.ConfVars.POSTEXECHOOKS.varname, "");
//        System.setProperty(HiveConf.ConfVars.PREEXECHOOKS.varname, " ");
//        System.setProperty(HiveConf.ConfVars.POSTEXECHOOKS.varname, " ");

    return hiveConf;
  }

代码示例来源：origin: jetoile/hadoop-unit

private HiveConf buildHiveConf() {
    // Handle Windows
    WindowsLibsUtils.setHadoopHome();

    HiveConf hiveConf = new HiveConf();
    hiveConf.set("fs.defaultFS", "hdfs://" + configuration.getString(HdfsConfig.HDFS_NAMENODE_HOST_KEY) + ":" + configuration.getInt(HdfsConfig.HDFS_NAMENODE_PORT_KEY));
//        hiveConf.set(HiveConf.ConfVars.HIVE_TXN_MANAGER.varname, "org.apache.hadoop.hive.ql.lockmgr.DbTxnManager");
//        hiveConf.set(HiveConf.ConfVars.HIVE_COMPACTOR_INITIATOR_ON.varname, "true");
//        hiveConf.set(HiveConf.ConfVars.HIVE_COMPACTOR_WORKER_THREADS.varname, "5");
//        hiveConf.set("hive.root.logger", "DEBUG,console");
//        hiveConf.setIntVar(HiveConf.ConfVars.METASTORETHRIFTCONNECTIONRETRIES, 3);
//        hiveConf.set(HiveConf.ConfVars.PREEXECHOOKS.varname, "");
//        hiveConf.set(HiveConf.ConfVars.POSTEXECHOOKS.varname, "");
//        System.setProperty(HiveConf.ConfVars.PREEXECHOOKS.varname, " ");
//        System.setProperty(HiveConf.ConfVars.POSTEXECHOOKS.varname, " ");

    return hiveConf;
  }

代码示例来源：origin: fr.jetoile.hadoop/hadoop-unit-hive

private HiveConf buildHiveConf() {
    // Handle Windows
    WindowsLibsUtils.setHadoopHome();

    HiveConf hiveConf = new HiveConf();
    hiveConf.set("fs.defaultFS", hdfsUri);
//        hiveConf.set(HiveConf.ConfVars.HIVE_TXN_MANAGER.varname, "org.apache.hadoop.hive.ql.lockmgr.DbTxnManager");
//        hiveConf.set(HiveConf.ConfVars.HIVE_COMPACTOR_INITIATOR_ON.varname, "true");
//        hiveConf.set(HiveConf.ConfVars.HIVE_COMPACTOR_WORKER_THREADS.varname, "5");
//        hiveConf.set("hive.root.logger", "DEBUG,console");
//        hiveConf.setIntVar(HiveConf.ConfVars.METASTORETHRIFTCONNECTIONRETRIES, 3);
//        hiveConf.set(HiveConf.ConfVars.PREEXECHOOKS.varname, "");
//        hiveConf.set(HiveConf.ConfVars.POSTEXECHOOKS.varname, "");
//        System.setProperty(HiveConf.ConfVars.PREEXECHOOKS.varname, " ");
//        System.setProperty(HiveConf.ConfVars.POSTEXECHOOKS.varname, " ");

    return hiveConf;
  }

代码示例来源：origin: jetoile/hadoop-unit

private HiveConf buildHiveConf() {
    // Handle Windows
    WindowsLibsUtils.setHadoopHome();

    HiveConf hiveConf = new HiveConf();
    hiveConf.set("fs.defaultFS", hdfsUri);
//        hiveConf.set(HiveConf.ConfVars.HIVE_TXN_MANAGER.varname, "org.apache.hadoop.hive.ql.lockmgr.DbTxnManager");
//        hiveConf.set(HiveConf.ConfVars.HIVE_COMPACTOR_INITIATOR_ON.varname, "true");
//        hiveConf.set(HiveConf.ConfVars.HIVE_COMPACTOR_WORKER_THREADS.varname, "5");
//        hiveConf.set("hive.root.logger", "DEBUG,console");
//        hiveConf.setIntVar(HiveConf.ConfVars.METASTORETHRIFTCONNECTIONRETRIES, 3);
//        hiveConf.set(HiveConf.ConfVars.PREEXECHOOKS.varname, "");
//        hiveConf.set(HiveConf.ConfVars.POSTEXECHOOKS.varname, "");
//        System.setProperty(HiveConf.ConfVars.PREEXECHOOKS.varname, " ");
//        System.setProperty(HiveConf.ConfVars.POSTEXECHOOKS.varname, " ");

    return hiveConf;
  }

代码示例来源：origin: sakserv/hadoop-mini-clusters

@Override
public void configure() throws Exception {
  hiveConf.setVar(HiveConf.ConfVars.METASTOREURIS,
      "thrift://" + hiveMetastoreHostname + ":" + hiveMetastorePort);
  hiveConf.setVar(HiveConf.ConfVars.SCRATCHDIR, hiveScratchDir);
  hiveConf.setVar(HiveConf.ConfVars.METASTORECONNECTURLKEY,
      "jdbc:derby:;databaseName=" + hiveMetastoreDerbyDbDir + ";create=true");
  hiveConf.setVar(HiveConf.ConfVars.METASTOREWAREHOUSE, new File(hiveWarehouseDir).getAbsolutePath());
  hiveConf.setBoolVar(HiveConf.ConfVars.HIVE_IN_TEST, true);
  hiveConf.set("datanucleus.schema.autoCreateTables", "true");
  hiveConf.set("hive.metastore.schema.verification", "false");
  // Handle Windows
  WindowsLibsUtils.setHadoopHome();
}

代码示例来源：origin: com.github.sakserv/hadoop-mini-clusters-hiveserver2

@Override
public void configure() throws Exception {
  // Handle Windows
  WindowsLibsUtils.setHadoopHome();
  hiveConf.setVar(HiveConf.ConfVars.METASTOREURIS,
      "thrift://" + hiveMetastoreHostname + ":" + hiveMetastorePort);
  hiveConf.setVar(HiveConf.ConfVars.SCRATCHDIR, hiveScratchDir);
  hiveConf.setVar(HiveConf.ConfVars.METASTORECONNECTURLKEY,
      "jdbc:derby:;databaseName=" + hiveMetastoreDerbyDbDir + ";create=true");
  hiveConf.setVar(HiveConf.ConfVars.METASTOREWAREHOUSE, new File(hiveWarehouseDir).getAbsolutePath());
  hiveConf.setBoolVar(HiveConf.ConfVars.HIVE_IN_TEST, true);
  hiveConf.setVar(HiveConf.ConfVars.HIVE_SERVER2_THRIFT_BIND_HOST, String.valueOf(hiveServer2Hostname));
  hiveConf.setIntVar(HiveConf.ConfVars.HIVE_SERVER2_THRIFT_PORT, hiveServer2Port);
  hiveConf.setVar(HiveConf.ConfVars.HIVE_ZOOKEEPER_QUORUM, zookeeperConnectionString);
  hiveConf.setBoolVar(HiveConf.ConfVars.HIVE_SUPPORT_CONCURRENCY, Boolean.TRUE);
}

代码示例来源：origin: fr.jetoile.hadoop/hadoop-unit-hive

@Override
  public void configure() throws Exception {
    hiveConf.setVar(HiveConf.ConfVars.METASTOREURIS,
        "thrift://" + hiveMetastoreHostname + ":" + hiveMetastorePort);
    hiveConf.setVar(HiveConf.ConfVars.SCRATCHDIR, hiveScratchDir);
    hiveConf.setVar(HiveConf.ConfVars.METASTORECONNECTURLKEY,
        "jdbc:derby:;databaseName=" + hiveMetastoreDerbyDbDir + ";create=true");
//        hiveConf.setVar(HiveConf.ConfVars.METASTOREWAREHOUSE, new File(hiveWarehouseDir).getAbsolutePath());
    hiveConf.setVar(HiveConf.ConfVars.METASTOREWAREHOUSE, hiveWarehouseDir);
    hiveConf.setBoolVar(HiveConf.ConfVars.HIVE_IN_TEST, true);
    hiveConf.set("datanucleus.schema.autoCreateTables", "true");
    hiveConf.set("hive.metastore.schema.verification", "false");

    // Handle Windows
    WindowsLibsUtils.setHadoopHome();
  }

代码示例来源：origin: jetoile/hadoop-unit

@Override
  public void configure() throws Exception {
    hiveConf.setVar(HiveConf.ConfVars.METASTOREURIS,
        "thrift://" + hiveMetastoreHostname + ":" + hiveMetastorePort);
    hiveConf.setVar(HiveConf.ConfVars.SCRATCHDIR, hiveScratchDir);
    hiveConf.setVar(HiveConf.ConfVars.METASTORECONNECTURLKEY,
        "jdbc:derby:;databaseName=" + hiveMetastoreDerbyDbDir + ";create=true");
//        hiveConf.setVar(HiveConf.ConfVars.METASTOREWAREHOUSE, new File(hiveWarehouseDir).getAbsolutePath());
    hiveConf.setVar(HiveConf.ConfVars.METASTOREWAREHOUSE, hiveWarehouseDir);
    hiveConf.setBoolVar(HiveConf.ConfVars.HIVE_IN_TEST, true);
    hiveConf.set("datanucleus.schema.autoCreateTables", "true");
    hiveConf.set("hive.metastore.schema.verification", "false");

    // Handle Windows
    WindowsLibsUtils.setHadoopHome();
  }

文章推荐： com.sun.grizzly.util.WorkerThread.reset()方法的使用及代码示例

c# - Google.Apis.Util.Utilities.GetStringValue(System.Enum) 和 Google.Apis.Util.Utilities.GetStringValue(System.Enum) 之间的调用不明确
我在这个网站上发布的代码有这个问题 https://developers.google.com/drive/quickstart-cs是 Google Drive 快速入门的开发人员站点。我按照网站上
java - Kafka Utils 类路径错误 : org. apache.kafka.common.utils.Utils
我正在尝试制作一个非常简单的 Kafka Producer，目前正在关注 producer example除了我的制作人没有分区程序类。将所需文件导出到 jar 后，我将它们传输到我的 Linux
java - 当使用外部模拟 util 库(也使用 java util lib)测试 java util 库时的循环引用
问题在java中，我有一个“Util项目”，在进行单元测试时使用另一个“Mock项目”。我的问题是“模拟项目”也使用“Util项目”来构建一些模拟对象。当我使用 Maven 构建项目时，我无法构
scala - 真的需要 scala.util.automata、scala.util.regexp 和 scala.util.grammar 吗？
据我所知，这些包已经存在很长时间了。但是，我从未见过它们的实际用法。而且这些包似乎不成熟，不再维护。如果是，为什么这些包现在存在？最佳答案包裹automata被 scala.xml.dtd 使用,
android - 无法下载 backport-util-concurrent.jar(backport-util-concurrent :backport-util-concurrent:3. 1):没有可用于离线模式的缓存版本
关闭。这个问题需要debugging details .它目前不接受答案。想改进这个问题？将问题更新为 on-topic对于堆栈溢出。 1年前关闭。 Improve this question Co
java - 为什么在 java.util.Collections 中声明静态 java.util.Collections.fill() 方法而不是在 java.util.AbstractList 中声明实例方法？
在java.util.Collections中，有一个方法: public static void fill(List list, T obj) 用第二个参数指定的对象填充第一个参数指定的List。
scala - 类型不匹配;找到 : edu. stanford.nlp.util.CoreMap => 需要单位 : java. util.function.Consumer[_> : edu. stanford.nlp.util.CoreMap]
我不明白它要我做什么。分配给 sentence正在工作: val sentences : java.util.List[CoreMap] = document.get(classOf[Sentence
javascript - util 函数直接导出 vs util 类
在我的 React 应用程序中，我想使用一些实用程序。我见过两种不同的方法。第一个是，只是创建函数并将其导出。第二个是，创建一个 Util 类并导出一个对象，这样它就不能被实例化(静态类)。 clas
java - 如何对依赖于其他 Util 类方法的 Util 类进行单元测试？
我有一个 util 类，它接受 String jwtToken 和 Key key 并使用 io.jsonwebtoken.jwts 解码 jwt。但是，我无法对此进行测试。原因是，我无法模拟公钥并
java - 目标命名空间java util cxf和代码生成包java.util.xsd
我有使用目标命名空间的专有架构 xmlns:ax216="http://util.java/xsd" 这给我带来了从 java (java.util.xsd) 开始生成禁止的(由 Java 安全管理器
java - java.util.Collections和java.util.Collection在Java中有什么关系吗？
我正在阅读集合以查看 Javadocs 中的实现层次结构。 Collections声明为public class Collections extendds Object Collection声明为pu
java - 无法将 'config.map' 下的属性绑定(bind)到 java.util.Map>> :
我正在使用 Spring-boot 应用程序，我可以在其中连接 Azure 应用程序配置。但是当我尝试使用内容类型应用程序/JSON 读取值时出现错误。我的Java类 @ConfigurationP
java - 无法将 'config.map' 下的属性绑定(bind)到 java.util.Map>> :
我正在使用 Spring-boot 应用程序，我可以在其中连接 Azure 应用程序配置。但是当我尝试使用内容类型应用程序/JSON 读取值时出现错误。我的Java类 @ConfigurationP
java.util.IllegalFormatConversionException 与 java.util.Formatter
我在使用格式说明符时遇到问题。这是否意味着我正在使用 %d？ public static void main(String[] args) { double y, x; for (x =
java.util.Iterator 但无法导入 java.util.Iterator
鉴于此代码 import java.util.Iterator; private static List someList = new ArrayList(); public static void
java.util.Scanner 处的 java.util.NoSuchElementException
我正在 HackerEarth 解决问题，我无法弄清楚为什么我的程序在命令行上正确运行并给出正确的结果，但在代码编辑器上运行时却给出 java.util.NoSuchElementException
java.util.ArrayList 无法转换为 java.util.Vector
我正在尝试使用以下代码使用对象列表列表中的数据填充tableModel readExcel.readSheet(0): TableModel tableModel = new DefaultTabl
java.util.Set、java.util.List 可序列化问题
java.util.Set 、 java.util.List 和其他 Collection 接口(interface)不可序列化。需要一个简单、直接的解决方案来在可序列化的 POJO 中使用它。 pu
java.util.Vector 无法转换为 java.util.ArrayList
我试图从 servlet 返回数据库搜索结果的 ArrayList 以显示在 jsp 页面上。在servlet中设置arraylist作为请求的属性，并将请求转发到jsp页面。当我尝试在 jsp 页
java.util.HashMap 无法转换为 java.util.ArrayList
我是android新手，最近我试图从firebase中提取数据到recyclerview/cardview中以垂直布局显示数据，它显示将Hashmap转换为Arraylist的错误，其中代码是:

知者

个人简介

我是一名优秀的程序员,十分优秀！

作者热门文章

滴滴打车优惠券免费领取

全站热门文章

首页

博学

6Ren·AI

商城

com.github.sakserv.minicluster.util.WindowsLibsUtils类的使用及代码示例

WindowsLibsUtils介绍

代码示例