gpt4 book ai didi

hadoop - 我可以访问映射器中的完整 block 吗?

转载 作者:可可西里 更新时间:2023-11-01 16:37:50 25 4
gpt4 key购买 nike

通常记录读取器将一行一行地传递给映射器或 n 行。可以在映射器中访问完整 block 吗?这意味着记录阅读器将完整 block 提供给映射器而不是逐行?这种方法有意义吗?

谢谢

最佳答案

需要注意的是,split size默认不等于block size。要做你想做的事,你需要实现自定义 InputFormat更确切地说是方法 getSplits(JobContext context)。并使 InputSplit 大小等于 block 大小。

关于hadoop - 我可以访问映射器中的完整 block 吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/48378332/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com