scala - 根据 SPARK scala 中的条件处理 RDD

Question

我正在提取可能包含空值的 csv 文件的列。那么，在调用 toInt 之前，我需要先将这些空值转换为 0 吗？

val field= sc.textFile("test.txt").map(_.split(",")(8))

我将如何实现这一目标？

示例数据如下:

3070811,1963,1096,,"US","CA",,1,
3022811,1963,1096,,"US","CA",,1,56
3033811,1963,1096,,"US","CA",,1,23

Answer 1

需要将 -1 传递给拆分，以便它包含空列。

val field= sc.textFile("test.txt").map{
    val x = _.split(",",-1)(8)
    if (x.isEmpty) 0 else x.toInt
}