r - SparkR:如何提取特定列中包含空值的行

Question

免责声明:我几乎没有使用 SparkR 的经验

采用以下数据框:

ID          Date1       Date2
58844880    04/11/16    NaN
59745846    04/12/16    04/14/16
59743311    04/13/16    NaN
59745848    04/14/16    04/11/16
59598413    NaN         NaN
59745921    04/14/16    04/14/16
59561199    04/15/16    04/15/16
NaN         04/16/16    04/16/16
59561198    NaN         04/17/16

我只想抓取具有 NaN 的行在日期 2 列中。

在 R 中，我会使用 new_DF <- DF[is.na(DF$Var),]但我不确定在 SparkR 中该做什么

Answer 1

可以使用带有条件 isNull 的 filter，例如:

DF2 <- SparkR::filter(DF,  isNull(DF$Date2))