gpt4 book ai didi

hadoop - 如何通过类 org.apache.hadoop.conf.Configuration 或以其他方式在 java 客户端中设置 hadoop dfs.replication?

转载 作者:可可西里 更新时间:2023-11-01 16:18:21 25 4
gpt4 key购买 nike

如何通过类org.apache.hadoop.conf.Configuration或其他方式在java客户端中设置hadoop dfs.replication?

我使用java Api作为客户端上传文件,但它总是将dfs.replication设置为3,结果当我使用命令(hadoop dfsadmin -report)检查情况时,所有 block 都在复制因子下,因为我只有两个数据节点要测试。

我只想知道如何通过 org.apache.hadoop.conf.Configuration 类或其他方式在 java 客户端中设置 hadoop dfs.replication? 感谢您的帮助!

最佳答案

我相信复制将不会由客户端连接配置设置,而是由集群配置设置 (???)。不确定是否有一种方法可以配置文件特定的复制,这就是我认为你在问的问题

顺便说一下,有多少百分比的 block 是复制不足的?你能提供 dfs admin -report 命令的输出吗?这会很有帮助

关于hadoop - 如何通过类 org.apache.hadoop.conf.Configuration 或以其他方式在 java 客户端中设置 hadoop dfs.replication?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/14827578/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com