java - MapReduce 中的函数组合

Question

假设我们有 2 个文件 f1 和 f2，它们的键值对表示数学意义上的函数。使用 MapReduce 找到它们的组合的最简单方法是什么？什么是最有效的方法？

例如，给定:

f1
a -> b
x -> y
s -> t

f2
b -> c
t -> r

f1 . f2 (composition of f1 and f2) would be
a -> c
s -> r

Answer 1

1. 将 f1 反转为 f1'

2. 同时对 f1' 和 f2 进行映射缩减。对于 f2 中的每个 x->v2，以及对于 f1' 中的所有 x->k1(如果有的话) ), 输出k1->v2。

这仅在 f1 具有相当大的范围时才有效。如果太多的 k1 映射到同一个 v1，那么对应的 map worker 就会被淹没。