gpt4 book ai didi

apache-spark - 人们在谈论Hadoop,Spark和大数据时, “intermediate results”是什么意思?

转载 作者:行者123 更新时间:2023-12-02 20:24:20 24 4
gpt4 key购买 nike

我正在尝试学习更多有关大数据的知识,特别是在利用Hadoop和Spark方面。但是,我一直看到这个术语是“中间结果”,我不太确定它指的是什么。

例如,我读到“Hadoop将中间结果写入计算机的存储磁盘,而Spark尽可能将那些相同的结果保存在内存中”。我以为这是指Map Reduce之后的结果,但我不太确定。

有人可以详细介绍一下什么是“中间结果”,以及它们在Spark和Hadoop之间的不同之处吗?

最佳答案

在映射阶段和缩减阶段之间,对正在处理的数据执行随机和排序操作,这是整个操作的中间步骤

关于apache-spark - 人们在谈论Hadoop,Spark和大数据时, “intermediate results”是什么意思?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/58158135/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com