gpt4 book ai didi

hadoop - 防止 MapReduce 程序中的输入拆分

转载 作者:可可西里 更新时间:2023-11-01 14:31:43 27 4
gpt4 key购买 nike

我需要将文件输入到 map-reduce 程序。但该文件不应该被拆分并作为一个整体传递给 map 函数。一个选项是将 issplitable 设置为 false,但我该怎么做?

最佳答案

1) 当您的文件具有 .gz 扩展名时,通常 isSplitable 返回 false。

2) 您可以编写自己的 InputFormat 来覆盖 isSplitable。

3) 不要试图让 isSplitable 返回 false。而是将文件的 block 大小设置为大于文件大小:

hadoop fs -D fs.local.block.size=1000000000 -put local_name remote_location

关于hadoop - 防止 MapReduce 程序中的输入拆分,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/21509865/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com