hadoop - 在hadoop流中，我可以将文件写入到reducer的本地光盘中吗？

Question

在hadoop流中，我可以将文件写入到reducer的本地光盘中吗？

例如，在C++的reducer中，如果我编写代码

ofstream fout(***);
fout << "asdf";

这有意义吗？ fout创建的文件在哪里？

Answer 1

Hadoop流将使用Hadoop OutputFormatters(例如TextOutputFormat)。因此，除了内置格式提供的输出行为以外，获得特定输出行为的一种方法是编写自定义输出格式，并覆盖getRecordWriter(TaskAttemptContext context)方法。

我不确定直接从reduce写入本地磁盘是否可行，这可能很好。您需要尝试一下。这样做的主要问题是，在群集中，您不知道 reducer 将在哪个节点上运行，并且失去了HDFS提供的许多可靠性。