apache-spark - 根据 Spark 中的条件获取行索引

Question

假设我有一个如下所示的 Spark DataFrame。如何获取 value 为 0 的行索引？

ID  | value
-------------
001 | 1
002 | 0
003 | 2
004 | 0
005 | 1

我想要的行索引是 2 和 4。

Answer 1

您可以使用filter 和select 来获取您想要的索引

给定一个dataframe作为

+---+-----+
|ID |value|
+---+-----+
|001|1    |
|002|0    |
|003|2    |
|004|0    |
|005|1    |
+---+-----+

您可以执行以下操作

df.filter(df.value == 0).select(df.ID)

应该给你

+---+
|ID |
+---+
|002|
|004|
+---+

您可以使用.flatMap(lambda x: x).collect()将上面选择的列dataframe转换为list

希望回答对你有帮助