hadoop - 在用 Java 编写 MR 代码时，如何决定何时使用 Map-Side Join 或 Reduce-Side？

Question

在用 Java 编写 MR 代码时，如何决定何时使用 Map-Side Join 或 Reduce-Side？

Answer 1

Map side join 在数据到达Map 之前执行join。在 map 端加入数据之前， map 功能需要一个强大的先决条件。这两种方法都有一些优点和缺点。 Map side join 与 reduce side 相比效率更高，但它需要严格的格式。

先决条件:

• 数据应以特定方式进行分区和排序。
• 每个输入数据都应划分为相同数量的分区。
• 必须使用相同的键排序。
• 特定键的所有记录必须位于同一分区中。

Reduce side join 也称为 Repartitioned join 或 Repartitioned sort merge join，也是最常用的连接类型。它必须经过排序和洗牌阶段，这会产生网络开销。Reduce side join 使用的术语很少，例如数据源、标签和组 key ，让我们熟悉它。

• Data Source指的是数据源文件，可能取自RDBMS
• Tag 将用于标记每条记录的源名称，以便可以在任何给定时间点识别它的源，无论它处于 map/reduce 阶段。为什么需要它稍后会介绍。
• 组键是指用作两个数据源之间的连接键的列。

正如我们所知，我们将在 reduce 端加入这些数据，我们必须以一种可用于在 reduce 阶段加入的方式进行准备。让我们看看需要执行哪些步骤。

有关更多信息，请查看此链接: http://hadoopinterviews.com/map-side-join-reduce-side-join/