hadoop - Hadoop 中的 JoGL？用于图形的 Hadoop？

Question

看完this和 this论文，我决定我想在 MapReduce 上为大型数据集实现分布式体积渲染设置作为我的本科论文工作。 Hadoop 是一个合理的选择吗？ Java 不会扼杀一些性能提升或使与 CUDA 的集成变得困难吗？ Phoenix++ 会是完成这项工作的更好工具吗？

Answer 1

Hadoop 还有一个称为 Hadoop Pipes 的 C++ API。 Pipes 允许您使用 C++ 编写 Map 和 Reduce 代码，从而与您可用的任何 C/C++ 库进行交互。这可以让您与 CUDA 交互，这是有道理的。

据我了解，它只是对MapReduce 的重写，因此所有的网络通信和分布式文件系统仍将由Java 处理。 Hadoop 旨在使任务的并行化变得简单和通用，因此它无法成为最高效的 MapReduce 实现。您对效率与可用程序员时间的要求可能是使用 Hadoop 或更高效的低级框架的决定性因素。

Word Count in Pipes例子。不幸的是，确实缺乏文档，但拥有可用的源代码会让事情变得容易得多。