hadoop - 如何将 hadoop MapReuce 框架用于 Opencl 应用程序？

Question

我正在用 opencl 开发一个应用程序，其基本目标是在 GPU 平台上实现数据挖掘算法。我想使用 Hadoop 分布式文件系统，想在多个节点上执行应用程序。我正在使用 MapReduce 框架，我将我的基本算法分为两部分，即“Map”和“Reduce”。

我以前从未用过hadoop，所以我有一些问题:

1. 我用 Java 编写应用程序是否只是为了使用 Hadoop 和 Mapeduce 框架？
2. 我在 opencl 中为 map 和 reduce 编写了内核函数。是否可以将 HDFS 用作非 Java GPU 计算应用程序的文件系统？ (注意:我不想使用 JavaCL 或 Aparapi)

Answer 1

您可以使用 Hadoop Streaming，只要您的代码可以从 stdio 读取并写回它，您就可以使用任何语言编写映射器和缩减器。为了获得灵感，您可以引用 how R is used with Hadoop Streaming 的示例