hadoop - HDFS有什么选择吗？

Question

我正在使用hadoop，在hadoop中，我正在使用HDFS执行I / O操作。但是，在HDFS中处理数据需要花费很多时间。是否有其他选项可以使处理更快，是否有诸如MongoDB这样的HDFS的选项或其他任何选项？

我正在处理用于网站分类的知识库，它包含单词，单词数，并且包含大约1L行和50个类别，因此大约有50L行要在其上进行处理和搜索操作，这在hdfs中是逐行进行的，并且需要很多时间。

Answer 1

我认为HDFS2意味着hadoop-2使用yarn体系结构将获得出色的性能，而且大文件的处理时间取决于各种因素，例如群集配置和节点之间的数据带宽。