gpt4 book ai didi

map - hadoop过滤 map 输出

转载 作者:可可西里 更新时间:2023-11-01 15:18:22 26 4
gpt4 key购买 nike

我有一个用例,其中映射阶段生成的某些键需要在减少开始之前被过滤掉。这样的事情可行吗?请告诉我。

最佳答案

修改Mapper Class过滤输入会更准确,因为 combiner 的执行是无法保证的,Hadoop 可能会也可能不会执行 combiner。此外,如果需要,它可以执行 1 次以上。因此,您的 MapReduce 作业不应依赖于组合器的执行。

关于map - hadoop过滤 map 输出,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/12443686/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com