gpt4 book ai didi

java - 以编程方式确定 Scalding/Cascading Pipe 的字段名称

转载 作者:可可西里 更新时间:2023-11-01 14:24:04 26 4
gpt4 key购买 nike

我正在使用 Scalding 处理包含许多(> 22)个字段的记录。在该过程结束时,我想将最终 Pipe 的字段名称写到一个文件中。我知道这是可能的,因为 Mapper 和 Reducer 日志会显示此信息。我想在工作本身中获取此信息,以将其用作穷人模式的基础。如果这不可能做到,那么是否有一种很好的方法可以将类型安全的 Pipes API 用于大型记录(即,无需求助于任意嵌套的元组或案例类)?

最佳答案

.write(Tsv("filename.tsv"), writeHeader=true)

通过设置 writeHeader = true,您告诉 .write 函数也包含模式。

关于java - 以编程方式确定 Scalding/Cascading Pipe 的字段名称,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/22186549/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com