个人中心
文章发布
退出
作者热门文章
- html - 出于某种原因，IE8 对我的 Sass 文件中继承的 html5 CSS 不友好？
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景？
25
4
我正在尝试使用Google的Hadoop云存储连接器在Hadoop之上运行Oryx:
https://cloud.google.com/hadoop/google-cloud-storage-connector
我更喜欢将Hadoop 2.4.1与Oryx一起使用，因此我将hadoop2_env.sh设置用于在Google计算引擎上创建的hadoop集群，例如:
.bdutil -b <BUCKET_NAME> -n 2 --env_var_files hadoop2_env.sh \
--default_fs gs --prefix <PREFIX_NAME> deploy
$ echo $HADOOP_CONF_DIR
/home/hadoop/hadoop-install/etc/hadoop
Caused by: java.lang.IllegalStateException: Not a directory: /etc/hadoop/conf
sudo mkdir /etc/hadoop/conf
sudo cp /home/hadoop/hadoop-install/etc/hadoop/* /etc/hadoop/conf
prefix = "hdfs://" + host + ':' + port;
} else {
prefix = "hdfs://" + host;
prefix = "gs://" + host + ':' + port;
} else {
prefix = "gs://" + host;
HADOOP_CLASSPATH=$HADOOP_CLASSPATH:'https://storage.googleapis.com/hadoop-lib/gcs/gcs-connector-1.2.9-hadoop2.jar
最佳答案
似乎有几个问题。首先，通常，当事物在hadoop jar下运行时，hadoop将各种系统环境变量和类路径等注入(inject)正在运行的程序中；在您的情况下，由于Oryx无需使用hadoop jar即可运行，而是使用类似以下内容的代码:
java -Dconfig.file=oryx.conf -jar computation/target/oryx-computation-x.y.z.jar
$HADOOP_CONF_DIR实际上并没有进入环境，因此
System.getenv in OryxConfiguration.java无法将其接收，并使用默认的
/etc/hadoop/conf值。只需使用
export命令即可解决此问题，可以通过查看是否将其放入子shell进行测试:
echo $HADOOP_CONF_DIR
bash -c 'echo $HADOOP_CONF_DIR'
export HADOOP_CONF_DIR
bash -c 'echo $HADOOP_CONF_DIR'
java -Dconfig.file=oryx.conf -jar computation/target/oryx-computation-x.y.z.jar
private Namespaces() {
Config config = ConfigUtils.getDefaultConfig();
boolean localData;
if (config.hasPath("model.local")) {
log.warn("model.local is deprecated; use model.local-data");
localData = config.getBoolean("model.local");
} else {
localData = config.getBoolean("model.local-data");
}
if (localData) {
prefix = "file:";
} else {
URI defaultURI = FileSystem.getDefaultUri(OryxConfiguration.get());
String host = defaultURI.getHost();
Preconditions.checkNotNull(host,
"Hadoop FS has no host? Did you intent to set model.local-data=true?");
int port = defaultURI.getPort();
if (port > 0) {
prefix = "hdfs://" + host + ':' + port;
} else {
prefix = "hdfs://" + host;
}
}
log.info("Namespace prefix: {}", prefix);
}
String scheme = defaultURI.getScheme();
if (port > 0) {
prefix = scheme + "://" + host + ':' + port;
} else {
prefix = scheme + "://" + host;
}
--default_fs hdfs进行部署，其中bdutil仍将安装gcs-connector，以便您可以运行
hadoop distcp将数据从GCS临时移至HDFS，运行Oryx，然后在完成后将其复制回进入GCS。
关于hadoop - Hadoop 2.4.1和适用于Hadoop的Google Cloud Storage连接器，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/26150155/
25
4
0
我们被要求从 Tomcat 1.6 迁移到 TomEE。在我们的应用程序中，我们使用 tomcat 作为嵌入式服务器。当我们尝试根据以下教程“http://www.copperykeenclaws.c
我需要一些有关配置文件的帮助。我已经在我的项目中包含了MySql.Data.dll，但是我如何告诉配置文件这个dll包含MySQL连接器？ NHibernate.Connection.Dr
我花了几个小时盯着这段代码。请新鲜的眼睛! 这是查询的简化版本: You have an error in your SQL syntax; check the manual that corresp
我正在开发一个应用程序，它可以在不使用任何网络服务的情况下将数据插入数据库。我用 MySQL Workbench 在我的笔记本上创建了一个数据库。我可以使用模拟器将数据插入数据库，但我无法使用手机将数
我刚刚发现了 Zimbra，并且有一个用 Java 编写的连接器。我一直在网上寻找其他人的一些文档或经验，但找不到任何东西。是否有任何关于 API 的良好文档，以便我可以开始并检查可以用它做什么？ 谢
我正在使用 C++ mysql 连接器在我的 mysql 数据库中执行操作。 我的 C++ 程序是一个实时应用程序(rest api)，它始终在云端运行，始终等待用户请求。 当我启动第一种类型的程序时
我有一个 C 进程正在快速写入 mysql 数据库~每秒 10 次。此过程使用 MySql C 连接器。 运行约2分钟后，进程挂起，系统监视器显示 "futex_wait_queue_me" ，还有
有谁知道使用 TraceListener 为 MySQL 连接器/网络启用跟踪的方法我希望它记录实际针对数据库运行的 SQL 查询，即查看参数值被替换的 SQL。 最佳答案 从 mysql 5.1.2
关闭。这个问题不符合Stack Overflow guidelines .它目前不接受答案。 要求我们推荐或查找工具、库或最喜欢的场外资源的问题对于 Stack Overflow 来说是偏离主题的，
作为 EF 菜鸟，我正在尝试将 Entity Framework 6 Code First 与我安装在我的开发计算机上的 MySql Server 5.6 结合使用。 我做了一个非常小的测试控制台项目
我需要将 Google Spreadsheet 与 JasperReports Server 一起使用，为此我需要一个用于 Google Spreadsheet 的 JDBC 连接器。 我找到了这个
我已经安装了 Tycho m2e 连接器，如下所述:http://codeandme.blogspot.ru/2012/12/tycho-build-1-building-plug-ins.html
我被要求使用 SAP .NET 连接器。我目前使用 .NET 4.0 和 VS2010。有什么我需要降级的吗？ 另外，有没有人知道有关如何使用它的任何当前在线教程？我所拥有的只是来自 SAP 的信息，
我想知道什么是 m2e 连接器。除了这个页面，我在互联网上没有找到太多描述它们的内容: http://objectledge.org/confluence/display/TOOLS/M2E+Conn
是否可以通过 VGA 连接器镜像屏幕？找不到任何关于此的内容。 最佳答案 我一直在寻找和你一样的东西。上周末我写了一个小的 UIApplication 类别来添加镜像支持。我在 Google Code
我正在开发从 SQL Server Db 提取 CDC 数据的逻辑应用程序。我正在使用“获取行”操作，但当我尝试使用过滤查询参数时，问题就出现了。 代码 eq '793'(有效) __$operati
用例: 应用程序使用spark处理数据5分钟，要处理的数据可能是数据存储中数十万条记录的数据。 数据存储的选择是Elastic Search。 问题: 我们在Elasticsearch中是否有用于 S
我已经安装了 hadoop 3 版本的 GCS 连接器，并将以下配置添加到 core-site.xml，如 Install.md 中所述.目的是将数据从本地集群中的 hdfs 迁移到云存储。 核心站点
如何删除 debezium 连接器。我正在关注本教程 https://debezium.io/documentation/reference/tutorial.html我看到了注册连接器的方法，但不知
如何删除 debezium 连接器。我正在关注本教程 https://debezium.io/documentation/reference/tutorial.html我看到了注册连接器的方法，但不知
我是一名优秀的程序员,十分优秀！