apache-spark - 如何在同一列pyspark sql中过滤多个条件

Question

我有一列如下:

+-------+------------------+-------+
|   name|             value|user_id|
+-------+------------------+-------+

| user 1|             view |      1|
| user 1|         processed|      1|
| user 2|             view |      3|
| user 3|             view |      4|
+-------+------------------+-------+

我想要像下面这样的列。

+-------+------------------+-------+
|   name|             value|user_id|
+-------+------------------+-------+
| user 2|             view |      3|
| user 3|             view |      4|
+-------+------------------+-------+

简单地说，删除同时执行这两个操作的 ID。

目前，我有如下两个数据框

df1 = df.where(value=="processed").select("id").distinct()
df2 = df.where(value=="view").select("id").distinct()

现在，如何只获取只有 View 未处理的 ID。或者有更好的方法吗？

Answer 1

一个选项可以是 "leftanti" 自连接，以消除所有包含 "processed" 的 name:

result = df.join(df.where(df.value=="processed") \
                   .select("name") \
                   .distinct(),
                 "name", "leftanti")
result.show()
+------+-----+-------+
|  name|value|user_id|
+------+-----+-------+
|user 3| view|      4|
|user 2| view|      3|
+------+-----+-------+