apache-spark - 将功能应用于Spark DataFrame的每一行

Question

我使用的是Spark 1.3。

我想将一个函数应用于数据框的每一行。此函数对行的每一列进行哈希处理，并返回哈希表的列表。

dataframe.map(row => row.toSeq.map(col => col.hashCode))

运行此代码时，我收到NullPointerException。我认为这与 SPARK-5063有关。

我想不出不使用嵌套 map 就可以达到相同结果的方法。

Answer 1

这不是SPARK-5063的实例，因为您没有嵌套RDD转换。内部.map()应用于Scala Seq而不是RDD。

我的直觉是数据集中的某些行包含空列值，因此当您尝试评估col.hashCode时，某些null.hashCode调用会引发NullPointerExceptions。为了解决此问题，在计算哈希码时，您需要考虑空值。

如果您在Java 7 JVM或更高版本的JVM(source)上运行，则可以执行

import java.util.Objects
dataframe.map(row => row.toSeq.map(col => Objects.hashCode(col)))

或者，在Java的早期版本中，您可以执行

    dataframe.map(row => row.toSeq.map(col => if (col == null) 0 else col.hashCode))