apache-spark - spark数据帧中过滤器的多个条件

Question

我有一个包含四个字段的数据框。字段名称之一是状态，我试图在 .filter 中使用 OR 条件作为数据帧。我尝试了以下查询，但没有运气。

df2 = df1.filter(("Status=2") || ("Status =3"))

df2 = df1.filter("Status=2" || "Status =3")

有没有人以前用过这个。我在堆栈溢出 here 上看到过类似的问题.他们使用以下代码来使用 OR 条件。但该代码适用于 pyspark。

from pyspark.sql.functions import col 

numeric_filtered = df.where(
(col('LOW')    != 'null') | 
(col('NORMAL') != 'null') |
(col('HIGH')   != 'null'))
numeric_filtered.show()

Answer 1

代替:

df2 = df1.filter("Status=2" || "Status =3")

尝试:

df2 = df1.filter($"Status" === 2 || $"Status" === 3)