python - 我什么时候使用谷歌的 MapReduce

Question

我最近偶然发现了 Google 的 MapReduce .

我已经看了两遍描述/文档，但我仍然不明白它到底是什么，或者什么时候使用它。

非常感谢。

Answer 1

Google App Engine 为您提供了一个 API(java 和 python)，用于在其 App Engine 上运行 MapReduce 作业。虽然您无法查看所有源代码(调度程序、作业跟踪器、任务跟踪器等模块)，但您可以查看 API 的源代码(包括映射器、缩减器、分区器等)。 GAE 还为您提供了一个软件开发工具包 (SDK)，您可以在上面测试您的应用程序。在您对应用程序的性能感到满意之后，您可以将其上传到 GAE，任何人都可以访问它。

我制作了一个这样的应用程序，可以在 shaileshmapreduce.appspot.com 找到它.它不会让您运行 MapReduce 作业，因为我必须将您的 gmail id 添加到用户列表中，但您可以查看界面和所有内容。

您还可以试用他们的 MapReduce 演示 https://developers.google.com/appengine/docs/python/dataprocessing/helloworld

当然，您需要确保您的机器上安装了 SDK 和所需的 MapReduce 库。