gpt4 book ai didi

hadoop - 关于HDFS复制,Oozie Libpath的正确设置是什么?

转载 作者:行者123 更新时间:2023-12-02 20:48:17 25 4
gpt4 key购买 nike

如果使用以下作业属性为oozie作业设置libpath:

oozie.libpath=${nameNode}/user/usernamexxx/share/lib
oozie.use.system.libpath=true

(很多集群的oozie作业都使用此设置),HDFS复制因子是否应该远高于3,甚至跨所有节点?

最佳答案

该目录不是很大,因此网络IO不会很重要,但是尝试在每个数据节点上具有完整副本也没有什么害处。

顺便说一句,该属性并不是每个oozie工作都需要的。您应该确定是否确实需要它。

关于hadoop - 关于HDFS复制,Oozie Libpath的正确设置是什么?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/47045782/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com