gpt4 book ai didi

hadoop - 从依赖于hadoop中另一个文件的文件访问信息

转载 作者:行者123 更新时间:2023-12-02 21:49:40 25 4
gpt4 key购买 nike

Hai我想编写一个MapReduce程序,该程序将两个文件作为输入,(例如:
file1:帐户详细信息
file2:交易明细),并从file1中获取帐户明细,并从file2中访问相应的帐户交易明细。如果我们要访问交易明细,则文件是依赖的,我们需要特定的帐户明细。假设两个文件都在一个文件夹中,并且该文件夹作为输入传递给map reduce程序。

提前致谢

最佳答案

这两个数据集必须结合在一起,这是一个非常常见的场景。检查MapReduce Design Patterns Book如何进行联接。这是用于加入的对应code。另外,检查Data-Intensive Text Processing with MapReduce以了解连接周围的不同模式。

关于hadoop - 从依赖于hadoop中另一个文件的文件访问信息,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/22177557/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com