scala - 通过键写入多个输出 Scalding Hadoop，一个 MapReduce 作业

Question

如何在单个 Map Reduce 作业中使用 Scalding(/级联)写入依赖于键的多个输出。我当然可以对所有可能的键使用 .filter，但这是一个可怕的 hack，它会激发许多工作。

Answer 1

有TemplatedTsv在 Scalding 中(从版本 0.9.0rc16 及更高版本)，与 Cascading TemplateTsv 完全相同。

Tsv(args("input"), ('COUNTRY, 'GDP))
.read
.write(TemplatedTsv(args("output"), "%s", 'COUNTRY))
// it will create a directory for each country under "output" path in Hadoop mode.