apache-spark - 如何删除一列pyspark中的空行

Question

我有一个数据框，我想删除其中一列(字符串)中具有 NULL 值的所有行。我可以很容易地得到它的计数:

df.filter(df.col_X.isNull()).count()

我尝试使用以下命令删除它。它执行但计数仍然返回正数

df.filter(df.col_X.isNull()).drop()

我尝试了不同的尝试，但它返回“对象不可调用”错误。

Answer 1

数据帧是不可变的。因此，仅应用删除非空值的过滤器将创建一个新的数据框，该数据框不会包含具有空值的记录。

df = df.filter(df.col_X. isNotNull())