scala - Scalding:管道操作的输出模式

Question

我正在 HDFS 上通过烫洗、聚合某些字段并通过 TSV 写入制表符分隔文件来重新读取文件。如何写出包含输出文件架构的文件？例如，

UnpackedAvroSource(args("input"))
  .project('key, 'var1)
  .groupBy('key){_.sum[Long]('var1 -> var1sum))}
  .write(Tsv(args("output")))

我想写一个包含“Key, var1sum”的输出文本文件，以后拿起我的 ooutput 文件的人知道这些列是什么。我假设 scalding 没有将它嵌入文件中的某个地方？

谢谢。

Answer 1

刚刚找到 writeHeader = true 选项，它将列名写入输出文件，无需写入文件。