scala - Scalding:解析带 header 的逗号分隔数据

Question

我有以下格式的数据:

"header1","header2","header3",...
"value11","value12","value13",...
"value21","value22","value23",...
....

在 Scalding 中解析它的最佳方法是什么？我总共有 50 多个专栏，但我只对其中的一些感兴趣。我尝试使用 Csv("file") 导入它，但这不起作用。

想到的唯一解决方案是使用 TextLine 手动解析它并忽略偏移量 == 0 的行。但我相信一定有更好的解决方案。

Answer 1

最后我通过如下手动解析每一行解决了它:

def tipPipe = TextLine("tip").read.mapTo('line ->('field1, 'field5)) {
line: String => val arr = line.split("\",\"")
  (arr(0).replace("\"", ""), if (arr.size >= 88) arr(4) else "unknown")
}