gpt4 book ai didi

hadoop - 如何强制hadoop处理每个 map 的更多数据

转载 作者:可可西里 更新时间:2023-11-01 15:18:46 26 4
gpt4 key购买 nike

我的工作进展非常缓慢,因为我认为 hadoop 为数据大小创建了太多 map task 。我在一些网站上读到,用更少的 map 处理更大的数据 block 是有效的——有什么办法可以强制这样做吗?谢谢

最佳答案

两种可能性:

  1. 增加 90gb 数据的 block 大小,将其设置为 128m 或更大将使您的 map task “工作更多”
  2. 使用CombineFileInputFormat并将您的 block 组合到您认为合适的大小。

第一个解决方案需要您重写数据以更改 block 大小,第二个解决方案可以嵌入到您的作业中。

关于hadoop - 如何强制hadoop处理每个 map 的更多数据,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/10713694/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com