hadoop - 基于字段之一将 Scalding TypedPipe 输出到多个目录中的 SequenceFile

Question

我在 Hadoop 上使用 Scalding，我有一个 TypedPipe 形式的大型数据集，我希望根据其中一个数据字段以 block 的形式输出。

例如数据是<category, field1, field2> ，我希望每个类别的数据存储在单独类别的 SequenceFile 中，例如outPath/cat1 , outPath/cat2等。我想要一个 MapReduce 阶段(或避免循环)。

我已阅读有关 TemplatedTsv 的信息选项在这里: How to bucket outputs in Scalding

这里: How to output data with Hive-style directory structure in Scalding?

然而，这仅在您需要 Tsv 文件而不是 SequenceFile 时有效。

显然循环有效:

var category = 0L

for (category <- categories) {
    data
    .filter(_.category == category)
    .map(t => (NullWritable.get, new BytesWritable(SerializationUtils.serialize(t))))
    .write(WritableSequenceFile(outPath + "/" + category))
}

那么有没有一个等同于TemplateTsv的方法呢？哪个可以用于编写 SequenceFile，避免循环？

Answer 1

有com.twitter.scalding.TemplatedSequenceFile这可能会做你需要的。它看起来就像 TemplateTsv，但输出到 SequenceFile