gpt4 book ai didi

hadoop - 使用Sqoop从RDBMS导入100Gb数据到hadoop所需的时间

转载 作者:行者123 更新时间:2023-12-02 21:35:25 27 4
gpt4 key购买 nike

我正在寻找此问题的答案,但尚未找到任何合适的答案。

我说的是一个小集群
群集大小-18,1 MN,1SN,16 DN。 2个机架,每个大小1 * 2 TB。 16 GB。 1G机架级交换机,带10G上行链路24端口,每周处理2-300 GBs的数据量。复制因子3。

对于上述配置,导入100GB数据需要花费多少时间。我知道还有很多其他因素需要考虑,但是平均时间对我有帮助。

最佳答案

您在测试之前是否考虑过任何调优/优化?

关于hadoop - 使用Sqoop从RDBMS导入100Gb数据到hadoop所需的时间,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/32698457/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com