gpt4 book ai didi

使用 hadoop 对一个巨大的文本文件进行排序

转载 作者:可可西里 更新时间:2023-11-01 15:01:38 24 4
gpt4 key购买 nike

是否可以使用只有 map 任务和零 reduce 任务的 mapreduce 作业按字典顺序对巨大的文本文件进行排序?

文本文件的记录以换行符分隔,文件大小约为1 Terra Byte。

如果有人能提出一种方法来实现对这个巨大文件的排序,那就太好了。

最佳答案

在 Map 方法中使用 TreeSet 将整个数据保存在输入拆分中并持久化。终于拿到整理好的文件了!

关于使用 hadoop 对一个巨大的文本文件进行排序,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/14896719/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com