gpt4 book ai didi

hadoop - Amazon ElasticMapReduce(EMR) 控制拆分大小/映射器数量

转载 作者:可可西里 更新时间:2023-11-01 16:52:11 25 4
gpt4 key购买 nike

如何更改此配置?对于我的应用程序,64/128 的拆分大小对我来说太多了,

例如,我希望拆分大小为 16 mb。

我该怎么做?

最佳答案

您可以通过设置 fs.s3n.block.size 来更改默认 block 大小。请在您的代码中尝试如下所示 - jobConf.set("fs.s3n.block.size", value);

请引用以下链接 - http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-plan-bootstrap.html

http://s3.amazonaws.com/awsdocs/ElasticMapReduce/latest/emr-dg.pdf

关于hadoop - Amazon ElasticMapReduce(EMR) 控制拆分大小/映射器数量,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/32128547/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com