java - 以编程方式确定 Scalding/Cascading Pipe 的字段名称

Question

我正在使用 Scalding 处理包含许多(> 22)个字段的记录。在该过程结束时，我想将最终 Pipe 的字段名称写到一个文件中。我知道这是可能的，因为 Mapper 和 Reducer 日志会显示此信息。我想在工作本身中获取此信息，以将其用作穷人模式的基础。如果这不可能做到，那么是否有一种很好的方法可以将类型安全的 Pipes API 用于大型记录(即，无需求助于任意嵌套的元组或案例类)？

Answer 1

.write(Tsv("filename.tsv"), writeHeader=true)

通过设置 writeHeader = true，您告诉 .write 函数也包含模式。