hadoop - ChainMapper 和 ChainReducer 有哪些 killer 级应用？

Question

与通常的链式任务(映射 -> 减少 -> 映射 -> 减少)。是否有使用其中任何一个的规范示例或 killer 级应用程序？或者，是否有一些知名的系统/应用程序使用它们中的任何一个？

Answer 1

我认为它们适用于在作业管道中使用 IdentityMapper 或 IdentityReducer 的步骤很少的情况。

考虑一下，您在给定的管道中有 2 个作业步骤:

• 第一步
• 第二步

现在，Step1 使用 IdentityReducer。所以第 1 步的输出将写入磁盘，然后由第 2 步选取。为了简化这个过程，ChainMapper 有助于消除这种复制到磁盘和读取 Step2 映射器的过程。

因此，Step1 可以成为第一个映射器 M1，Step2 的映射器可以成为第二个映射器 M2。所以它现在看起来像 [ M1 -> M2 -> R2 ]。

现在关于实际示例，有一个非常常见的用例，其中需要过滤掉记录，然后进行处理。你可能会争辩说为什么我们不能在同一个映射器中同时进行处理和过滤，我想说有两个原因:

1 - 关注点分离

2 - 如果您已经准备好一个管道并且您只需要向其附加一个预处理步骤怎么办，Chain Mapper 会派上用场。