Pyspark 数据帧运算符 "IS NOT IN"

Question

我想将其从 R 重写为 Pyspark，有什么好看的建议吗？

array <- c(1,2,3)
dataset <- filter(!(column %in% array))

Answer 1

在 pyspark 中你可以这样做:

array = [1, 2, 3]
dataframe.filter(dataframe.column.isin(array) == False)

或者使用二元 NOT 运算符:

dataframe.filter(~dataframe.column.isin(array))