gpt4 book ai didi

scala - 使用空/空字段值创建新的数据框

转载 作者:行者123 更新时间:2023-12-03 10:32:26 25 4
gpt4 key购买 nike

我正在从现有数据框创建一个新的数据框,但是需要在此新DF中添加新列(以下代码中的“field1”)。我该怎么做?工作示例代码示例将不胜感激。

val edwDf = omniDataFrame 
.withColumn("field1", callUDF((value: String) => None))
.withColumn("field2",
callUdf("devicetypeUDF", (omniDataFrame.col("some_field_in_old_df"))))

edwDf
.select("field1", "field2")
.save("odsoutdatafldr", "com.databricks.spark.csv");

最佳答案

可以使用lit(null):

import org.apache.spark.sql.functions.{lit, udf}

case class Record(foo: Int, bar: String)
val df = Seq(Record(1, "foo"), Record(2, "bar")).toDF

val dfWithFoobar = df.withColumn("foobar", lit(null: String))

这里的一个问题是列类型是 null:

scala> dfWithFoobar.printSchema
root
|-- foo: integer (nullable = false)
|-- bar: string (nullable = true)
|-- foobar: null (nullable = true)

并且 csv编写器未保留它。如果有严格的要求,则可以使用 DataType将列转换为特定类型(让我们说String)

import org.apache.spark.sql.types.StringType

df.withColumn("foobar", lit(null).cast(StringType))

或字符串描述

df.withColumn("foobar", lit(null).cast("string"))

或使用这样的UDF:

val getNull = udf(() => None: Option[String]) // Or some other type

df.withColumn("foobar", getNull()).printSchema
root
|-- foo: integer (nullable = false)
|-- bar: string (nullable = true)
|-- foobar: string (nullable = true)

可以在这里找到等效的Python: Add an empty column to spark DataFrame

关于scala - 使用空/空字段值创建新的数据框,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/32067467/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com