gpt4 book ai didi

hadoop - map 中的输入/输出流减少链接

转载 作者:行者123 更新时间:2023-12-02 21:53:05 25 4
gpt4 key购买 nike

我需要有关 map 减少链的帮助。我有这样的 map 减少链

map-> reduce-> map

我希望在最后一个映射器中使用reducer的输出

例如,在我的reducer中,我获取了一个雇员的最高薪水,并且应该在下一个映射器中使用此值并查找具有该最大薪水值的记录。因此,显然我的上一个mapper应该获得了reducer的输出,并且文件的内容?有可能吗?如何解决此问题?有更好的解决方案吗?

最佳答案

我不确定我是否了解问题,但我会尽力提供帮助。
您已将包含员工薪水的一些输入(简称为input1)简化为以下输出(简称为output1):Key: someEmployee Value: max salary

现在您想让另一个映射器同时映射input1和output1的数据吗?
如果是这样,那么您将没有什么选择,则可以根据您的需要选择一个。

  • 操纵第一个 reducer 的输出。创建Key: someEmployee Value:
    max_salary@@salary_1,salary_2,salary_3...salary_n
    格式的output1的方法
    然后创建新作业,然后将新的映射器输入设置为output1。
  • 尝试阅读this issue,解释如何将多个输入转换为一个映射器
  • 关于hadoop - map 中的输入/输出流减少链接,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/18309066/

    25 4 0
    Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
    广告合作:1813099741@qq.com 6ren.com