java - MapReduce 中的聚合

Question

关闭。这个问题需要更多 focused .它目前不接受答案。












想改进这个问题？更新问题，使其仅关注一个问题 editing this post .

8年前关闭。




Improve this question




我们如何在 .csv 中找到列的最大和最小元素。

我们应该将什么传递给 mapper 的 context.write(key,value)。

是否是该csv文件的每一列？

Solution

Answer 1

这对于一个 SO 问题来说有点宽泛，但我会咬一口。

您的映射器用于将值映射到键。假设您的 CSV 有 4 列数值:

42, 71, 45, 22

您将一个键映射到每个值；实际上，CSV 中的标题是什么样的。假设第 4 列代表“小部件数量”。您将映射“number_of_widgets”作为映射器中第 4 列值的键。

reducer 将获取给定键的所有值。这就是你计算出你的最小值/最大值的地方。您只需遍历键的所有值并跟踪最小值和最大值。