gpt4 book ai didi

hadoop - 使用hadoop处理非常小的文件

转载 作者:行者123 更新时间:2023-12-02 20:11:37 26 4
gpt4 key购买 nike

我有一个关于使用hadoop处理小文件的问题。我的文件只有大约1,000个记录,但是我希望记录在节点之间大致均匀地分布。有没有办法做到这一点?我是hadoop的新手,到目前为止,似乎所有执行都在一个节点上发生,而不是同时发生在多个节点上。让我知道我的问题是否有意义,或者是否需要澄清。就像我说的那样,我对Hadoop非常陌生,但希望得到一些澄清。谢谢。

最佳答案

使用NLineInputFormat并指定每个映射器要处理的记录数。这样,单个块中的记录将由多个映射器处理。

关于hadoop - 使用hadoop处理非常小的文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/14824802/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com