scala - 将 Spark DataSet 行值映射到新的哈希列

Question

鉴于以下 DataSet值为 inputData :

column0 column1 column2 column3
A       88      text    99
Z       12      test    200
T       120     foo     12

在 Spark 中，计算新 hash 的有效方法是什么？列，并将其附加到新的 DataSet , hashedData ，其中 hash定义为 MurmurHash3的应用超过 inputData 的每一行值.

具体来说， hashedData作为:

column0 column1 column2 column3 hash
A       88      text    99      MurmurHash3.arrayHash(Array("A", 88, "text", 99))
Z       12      test    200     MurmurHash3.arrayHash(Array("Z", 12, "test", 200))
T       120     foo     12      MurmurHash3.arrayHash(Array("T", 120, "foo", 12))

如果需要更多细节，请告诉我。

任何帮助表示赞赏。谢谢!

Answer 1

一种方法是使用 withColumn功能:

import org.apache.spark.sql.functions.{col, hash}
dataset.withColumn("hash", hash(dataset.columns.map(col):_*))