hadoop - 了解有关Hadoop/HDFS数据加载的更多信息

Question

我正在研究Hadoop和MapReduce(我是一个初学者!)，并且对HDFS有一个简单的问题。我对HDFS和MapReduce如何协同工作感到有些困惑。

假设我有来自系统A的日志，推文，以及来自系统B的一堆文档。将其加载到Hadoop / HDFS中时，是否全部扔进了一个大的HDFS存储桶中，还是会有3个区域(需要一个区域)？更好的词)？如果是这样，正确的术语是什么？

问题源于对如何执行MapReduce作业的理解。例如，如果我只想专注于日志，那么可以做到这一点，还是在集群上存储的全部内容上执行所有作业？

感谢您的指导!
TM值

Answer 1

HDFS是一个文件系统。与在本地文件系统中一样，您可以将所有日志和文档组织到多个文件和目录中。运行MapReduce作业时，通常会使用输入文件指定目录。因此，可以仅对来自系统A的日志或来自系统B的文档执行作业。

但是，映射器的输入由InputFormat指定。大多数实现源自读取文件的FileInputFormat。但是，可以实现自定义InputFormats以便从其他来源读取数据。您可以在Hadoop Tutorial中找到有关输入和输出格式的说明。