gpt4 book ai didi

hadoop - 在不同的数据库列集上工作的映射器任务

转载 作者:可可西里 更新时间:2023-11-01 16:18:44 25 4
gpt4 key购买 nike

我们有一个场景,我们希望单个 Hadoop 作业创建/管理多个映射器任务,其中每个映射器任务将查询关系数据库表中的列子集。我们研究了 DataDrivenDBInputFormat,但这似乎只是为了促进分区,其中每个映射器任务可以查询关系数据库表中的行子集。

感谢这方面的任何建议。谢谢。

最佳答案

我建议您编写一个映射器来读取两组列的并集。您可以在同一个映射器中执行多个映射器任务,或者只是将数据转储到一个顺序文件中,多个后续映射器仅使用该文件中所需的内容。这取决于两组映射器输出之间的相关程度,以及它们在流程后期输入到同一 hadoop 步骤的速度(如果有的话)。

关于hadoop - 在不同的数据库列集上工作的映射器任务,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/13570931/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com