java - Hadoop一次读取2个文件(一个头文件和一个数据文件)

Question

我有这些文件的集合-

objectA-record-data.log 文件 - 包含带有时间戳的多行数据。

objectA-record-metadata.log 文件 - 仅包含一行。将其视为对象 A 的所有记录的元数据。

它们将一起形成一条记录进行处理。

我已经能够处理数据文件了。 mapper 将 objectA 设置为数据文件中所有行的键，reducer 处理并打印文本文件。现在我也想为这些记录中的每一个添加元数据。我该怎么做？

Answer 1

使用分布式缓存:

在驱动/配置类中:

DistributedCache.addCacheFile(new URI("/user/chris/theMetaDataFile.txt"), conf);

在映射器中:

public void setup(Context context) {
    Configuration conf = context.getConfiguration();
    Path[] cachedFiles = DistributedCache.getLocalCacheFiles(conf);
    File metadataFile = new File(chachedFiles[0].toString());

    // metadataFile can now be read and the results stored locally for use in the map method
}