gpt4 book ai didi

hadoop - 如何使用Hadoop/Map-Reduce/etc?

转载 作者:行者123 更新时间:2023-12-02 21:51:15 27 4
gpt4 key购买 nike

我有一个程序希望通过将其拆分到多台计算机上进行计算。这是我可以使用Hadoop或Map / Reduce完成的事情吗?如果可以,如何开始使用它?使用那么多计算机是否要花钱?

最佳答案

您可以根据算法的性质拆分程序。您应该拆分输入数据,并在每个节点上将程序应用于该输入的子集。也就是说,您应该实现数据并行性。在每个节点中执行相同的程序,但输入较小。

我的建议,请看《 Hadoop,权威指南》这本书,前两章可以帮助您更好地理解。
如果要尝试将简单的MapReduce程序用作WordCount,可以下载Hortonworks沙箱,该沙箱可以安装在虚拟机上,并且可以非常快速地安装单个节点hadoop。这是链接http://hortonworks.com/products/hortonworks-sandbox/

关于hadoop - 如何使用Hadoop/Map-Reduce/etc?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/20694808/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com