gpt4 book ai didi

algorithm - 为什么我们说 map-reduce 比传统方法更好地解决了 "Paper reference"问题?

转载 作者:可可西里 更新时间:2023-11-01 15:28:33 27 4
gpt4 key购买 nike

据说当我们希望对论文引用进行统计时,map-reduce 可以比传统方式做得更好,因为传统方式涉及大量内存/磁盘切换。我不太明白为什么传统方法不好。

假设我只在一台机器上运行 map-reduce(没有集群),它是否仍然比传统方式更好地解决了一些问题?

或者换句话说,“map-reduce”这种算法范式本身,从算法的角度来说,在解决问题上是否有一些优势?

谢谢。

最佳答案

At best M/R 允许重新应用与高级统计包相同的算法。但更典型的是,在使用的算法中会做出一些牺牲——以允许以分布式方式运行。 Map/Reduce 在交叉采样(或任何其他采样方法)期间提供更均匀的随机分布方面没有提供任何“魔力”。

对于适合内存的小型数据集,M/R 通常比您的传统包差 - 由于在可扩展性算法中做出了妥协。当使用禁止在单台机器上完全采样的大型数据集时,您开始看到 M/R 的优势。使用 R/Matlab/SAS 通常需要下采样 - 并且可能按顺序或幅度进行。

关于algorithm - 为什么我们说 map-reduce 比传统方法更好地解决了 "Paper reference"问题?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/39120590/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com