scala - SPARK 数据帧错误 : cannot be cast to scala. Function2，同时使用 UDF 拆分列中的字符串

Question

当我使用 udf 通过分隔符拆分列中的字符串时，我不断收到错误消息。我正在使用 Scala

Error: java.lang.ClassCastException: $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$anonfun$1 cannot be cast to scala.Function2

不知道这是什么以及如何解决它。

这是我的 udf 和数据框:

val rsplit = udf((refsplit: String) => refsplit.split(":"))


+---------+--------------------+--------------------+
|     user|              jsites|             jsites1|
+---------+--------------------+--------------------+
|123ashish|m.mangahere.co:m....|m.mangahere.co:m....|
|456ashish|m.mangahere2.co:m...|m.mangahere2.co:m...|
|   ashish|m.mangahere.co:m....|m.mangahere.co:m....|
+---------+--------------------+--------------------+

列 jsites 看起来像 m.manghere.co:m.facebook.com:.msn.com 。我正在尝试使用 udf 通过 m.manghere.co:m.facebook.com:.msn.com 拆分 : 。

我一直收到那个错误

Answer 1

org.apache.spark.sql.functions 中提供了拆分功能

import org.apache.spark.sql.functions.{col,split}

val df = ???
df.withColumn("split sites",split(col("COLNAME"), "REGEX"))

问题有点老，希望这对其他人有帮助。干杯