gpt4 book ai didi

scala - Spark Dataframe 更改列值

转载 作者:行者123 更新时间:2023-12-04 13:22:11 36 4
gpt4 key购买 nike

我得到了一些包含 170 列的数据框。在一个列中,我有一个“名称”字符串,当我将它们写入 Postgres 时,该字符串有时可能包含不合适的特殊符号,例如“'”。
我可以做这样的事情吗:

Df[$'name']=Df[$'name'].map(x => x.replaceAll("'","")) ?

我不想解析完整的 DataFrame,因为它非常庞大。请帮帮我

最佳答案

您不能改变 DataFrames,您只能将它们转换为具有更新值的新 DataFrames。在这种情况下 - 您可以使用 regex_replacename 上执行映射的函数柱子:

import org.apache.spark.sql.functions._
val updatedDf = Df.withColumn("name", regexp_replace(col("name"), ",", ""))

关于scala - Spark Dataframe 更改列值,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/41716450/

36 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com