gpt4 book ai didi

hadoop - Hadoop Map步骤返回大数据集

转载 作者:行者123 更新时间:2023-12-02 21:50:21 25 4
gpt4 key购买 nike

有一个理论上的问题:我正在处理100G文本文件。我的 map 步骤将返回许多键值对。如果数据集的大小不适合内存怎么办?

会发生什么?以及如何处理这种用例?

n

最佳答案

您的键/值对不会存储在内存中。它们被写入磁盘上的临时文件。

关于hadoop - Hadoop Map步骤返回大数据集,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/21563913/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com