sql - 根据另一列的子字符串在数据框中创建列，scala

Question

我在 dataframe(d1) 中有一列:MODEL_SCORE，其值类似于 nulll7880。我想在 datframe 中创建另一个 column MODEL_SCORE1，它是 MODEL_SCORE 的子字符串。

我正在尝试这个。它正在创建列，但没有给出预期的结果:

val x=d1.withColumn("MODEL_SCORE1", substring(col("MODEL_SCORE"),0,4))

val y=d1.select(col("MODEL_SCORE"), substring(col("MODEL_SCORE"),0,4).as("MODEL_SCORE1"))

Answer 1

一种方法是您可以定义一个 UDF，它将根据您的需要拆分您的列字符串值。示例代码如下，

val df = sc.parallelize(List((1,"nulll7880"),(2,"null9000"))).toDF("id","col1")
df.显示

//输出

+---+--------+
|编号| col1|
+---+----------+
| 1|nulll7880|
| 2| null9000|
+---+--------+

def splitString:(String => String) = {str => str.slice(0,4)}
val splitStringUDF = org.apache.spark.sql.functions.udf(splitString)
df.withColumn("col2",splitStringUDF(df("col1"))).show

//输出

+---+--------+----+
|编号| col1|col2|
+---+--------+----+
| 1|nulll7880|null|
| 2| null9000|null|
+---+--------+----+