gpt4 book ai didi

scala - 从 Spark 数据框中删除空白字符串

转载 作者:行者123 更新时间:2023-12-03 09:45:01 25 4
gpt4 key购买 nike

尝试删除 Spark 数据框列包含空字符串的行。原来是val df2 = df1.na.drop()但事实证明,这些值中有许多被编码为 "" .

我坚持使用 Spark 1.3.1,也不能依赖 DSL。 (导入 spark.implicit_ 不起作用。)

最佳答案

从数据框中删除内容需要 filter() .

newDF = oldDF.filter("colName != ''")

还是我误解了你的问题?

关于scala - 从 Spark 数据框中删除空白字符串,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/39951190/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com