gpt4 book ai didi

apache-spark - PySpark:如何在特定列的数据框中填充值?

转载 作者:行者123 更新时间:2023-12-03 10:07:42 25 4
gpt4 key购买 nike

我有以下示例数据帧:

a    | b    | c   | 

1 | 2 | 4 |
0 | null | null|
null | 3 | 4 |

我只想替换前两列中的空值 - 列“a”和“b”:
a    | b    | c   | 

1 | 2 | 4 |
0 | 0 | null|
0 | 3 | 4 |

这是创建示例数据框的代码:
rdd = sc.parallelize([(1,2,4), (0,None,None), (None,3,4)])
df2 = sqlContext.createDataFrame(rdd, ["a", "b", "c"])

我知道如何使用以下方法替换所有空值:
df2 = df2.fillna(0)

当我尝试这个时,我丢失了第三列:
df2 = df2.select(df2.columns[0:1]).fillna(0)

最佳答案

df.fillna(0, subset=['a', 'b'])

有一个名为 subset 的参数选择列,除非您的 spark 版本低于 1.3.1

关于apache-spark - PySpark:如何在特定列的数据框中填充值?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/45065636/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com