gpt4 book ai didi

hadoop - 配置单元将文件加载到表副本

转载 作者:行者123 更新时间:2023-12-02 21:36:44 26 4
gpt4 key购买 nike

我已经在其上设置了Hadoop完全分布式集群和Apache Hive。我正在从Java代码将数据加载到配置单元表中。 hdfs-site.xml中的复制因子为2。当我从hadoop fs -put将文件复制到HDFS时,该文件显示为已复制两次。但是,加载到配置单元表中的文件显示为具有3个副本。

为配置单元加载的文件设置任何其他复制参数吗?

最佳答案

要在将表加载到HIVE时设置表的复制因子,您需要在配置单元客户端上设置以下属性。

SET dfs.replication=2;
LOAD DATA LOCAL ......;

关于hadoop - 配置单元将文件加载到表副本,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/31674361/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com