gpt4 book ai didi

java - 全局 Hadoop 配置存储

转载 作者:行者123 更新时间:2023-12-01 14:38:46 26 4
gpt4 key购买 nike

有没有办法设置/获取全局 Hadoop 配置对象,如下面的伪代码?当然,我可以使用静态方法创建自己的类,这些方法可以满足我的需要,但如果可以在 Hadoop Java API 中找到类似的东西,而不会使依赖关系变得更加复杂,那就更好了。到目前为止我还没有找到任何可用的东西。有什么建议吗?

在某些应用程序级别配置器中。

Configuration conf = new Configuration();
conf.set(...);
<something>.SetGlobalConfig(conf);

在较低层客户端代码中。

Configuration conf = <something>.GetGlobalConfig();
// ... something that needs configuration.

更新 1:我了解 Hadoop .xml 配置文件,实际上它是可能的解决方案之一,但最好在代码中完成所有配置,无需外部文件。

更新 2:根据提供的要点,决定使用与作业代码打包在一起的“通常”.xml 配置。客户端可以通过命令行参数“调整”一些参数,由于使用相同的工具,这些参数保持类似 hadoop 的语义。为了将其余代码与 Hadoop 配置/用户方面隔离,更多应用程序代码通过特殊的 COnfigurator 单例请求配置。

尽管我不介意反对有用的想法,但原始问题被认为已经解决。

最佳答案

当你打电话时

Configuration conf = new Configuration();

它将在项目的类路径中查找 core-default.xmlcore-site.xml

core-site.xml 正是您想要将“全局”配置放入的位置。

关于java - 全局 Hadoop 配置存储,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/16208325/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com