java - Hadoop MapReduce处理来自HDFS的不同输入文件

Question

This question already has answers here:

Hadoop MapReduce process multiple input files [closed]

(2个答案)


7年前关闭。




我正在编写Java MapReduce程序。例如，我在HDFS中有两个文件。我的程序将从HDFS读取这两个文件，在两个文件中找到同一行并输出结果。例如:

a.log:
  apple
  computer
  bird
b.log:
  steve
  pear
  apple

最终输出应为

apple

我怎样才能做到这一点？我正在尝试先读取a.log并将其存储到哈希集中，但是由于任务跟踪程序无法彼此共享内存，因此它不起作用。有人知道吗？还是Hadoop MapReduce没有这种OOTB？

最佳答案

您正在尝试在两个文件上实现连接操作。您可以通过编写映射器来实现此目的，该映射器会发出(word,filename)对。在reducer中，您检查两个文件名是否都在发射之前的值中。您可以通过从InputSplit 中获取路径来获取文件名。

《 Hadoop实务》一书对此进行了描述，如果您打算对Hadoop变得更认真，建议阅读。

如果该答案有帮助，请标记为已回答。

关于java - Hadoop MapReduce处理来自HDFS的不同输入文件，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/19522631/

上一篇：hadoop - Hadoop Map程序以打印输入文件

下一篇：java - 无法为您的平台加载 native-hadoop 库...未加载 Snappy native 库

Answer 1

您正在尝试在两个文件上实现连接操作。您可以通过编写映射器来实现此目的，该映射器会发出(word,filename)对。在reducer中，您检查两个文件名是否都在发射之前的值中。您可以通过从InputSplit 中获取路径来获取文件名。

《 Hadoop实务》一书对此进行了描述，如果您打算对Hadoop变得更认真，建议阅读。

如果该答案有帮助，请标记为已回答。