hadoop - 如何在mapreduce中加入多个数据集

Question

假设我有三个数据集，我想通过连接所有这三个数据集/文件来回答多个问题。例如，如果第一个数据集有 (id, name)，第二个有 (id,sum,key)，第三个有 (键，价格)。

如何使用id连接第一个和第二个文件，在同一个程序中如何使用key连接第二个和第三个文件？

Answer 1

不可能在同一个程序中执行此操作。要完成您想要做的事情，您必须运行两个 map-reduce 作业。

第一个 map-reduce 作业处理第一个文件和第二个文件，生成格式如下的输出文件 -

id name,sum,key

上面reducer key是“id”，reducer value是“name,sum,key”

第二个 map-reduce 作业处理第一个 map-reduce 作业的输出和生成输出文件的第三个文件，其格式如下 -

id,key name,sum,price

上面reducer key是“id,key”，reducer value是“name,sum,price”