gpt4 book ai didi

multithreading - MapReduce - 除了字数统计还有别的吗?

转载 作者:行者123 更新时间:2023-12-05 00:02:12 26 4
gpt4 key购买 nike

我一直在研究 MapReduce 并阅读有关它及其应用的各种论文,但是,在我看来,MapReduce 似乎只适用于最终导致字数统计的非常狭窄的一类场景。

如果你看 original paper Google 的员工提供“各种”潜在用例,例如“分布式 grep”、“分布式排序”、“反向网络链接图”、“每个主机的术语向量”等。
但是,如果您仔细观察,所有这些问题都可以归结为简单的“计算单词”——即计算数据块中某事物出现的次数,然后聚合/过滤并排序出现的列表。

在某些情况下,MapReduce 已用于遗传算法或关系数据库,但它们不使用 Google 发布的“vanilla”MapReduce。相反,他们沿 Map-Reduce 链引入了更多步骤,例如 Map-Reduce-Merge 等。

您是否知道任何其他(记录在案的?)场景,其中“vanilla” MapReduce 已被用于执行不仅仅是字数统计? (也许用于光线追踪、视频转码、密码学等 - 简而言之,任何可并行化的“计算量大”的东西)

最佳答案

Atbrox一直在维护mapreduce hadoop algorithms in academic papers .这是link .所有这些都可以用于实际目的。

关于multithreading - MapReduce - 除了字数统计还有别的吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/8350705/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com