python - 根据 pyspark RDD 检查列表中的项目

Question

我有以下带有 ID 及其计数的 pyspark RDD:

rdd = [('12', 560), ('34', 900), ('56', 800), ('78', 100), ('910', 220), ('125', 410), ('111', 41), etc.]

我有一个常规列表:

id_list = ['12', '125', '78']

我想要一个新的键值对列表，来自 id_list 的 'id' 和来自 rdd 的 'counts'。
所以预期的输出:

new_list = [('12', 560), ('125', 410), ('78', 100)]

如果 rdd 是一个 python 字典，我可以遍历 id_list，检查它是否在字典中并返回一个带有键和计数的新列表。但是我不知道如何使用 RDD 来做到这一点。请指教。
我可能会尝试将 RDD 转换为字典，但这会破坏使用 spark 的目的。

Answer 1

您可以使用 lambda 函数过滤 RDD，该函数检查 key 是否在 id_list 中:

rdd2 = rdd.filter(lambda x: x[0] in id_list)