hadoop - 多文件流式传输 hdfs

Question

我在不同的文件上有两个矩阵。我必须将文件读入缓存，以便我可以将它们相乘。我一直在想 HDFS 是否会帮助我。我怀疑 HDFS 没有，因为它没有足够的缓存内存来读取文件和处理它。简而言之，我可以同时打开两个文件吗

Answer 1

要回答您的问题的较短版本，是的，HDFS API 确实允许一次并发读取两个文件。您可以简单地在两个文件上创建两个输入流并并行读取它们(就像您对常规文件所做的那样)并围绕它管理您的逻辑。

但是，HDFS 是一个简单的文件系统，没有自己的缓存(操作系统缓冲区缓存除外)，您需要携带的任何计算缓存都需要由您自己的应用程序处理。

作为另一个一般性建议，既然您希望矩阵相乘，也许可以查看 Apache Mahout和 Apache Hama支持 HDFS 的项目。