Python:有效地检查列表中的值是否在另一个列表中

Question

我有一个数据框 user_df，其中包含 ~500,000 行，格式如下:

|  id  |  other_ids   |
|------|--------------|
|  1   |['abc', efg'] |
|  2   |['bbb']       |
|  3   |['ccc', 'ddd']|

我还有一个列表，other_ids_that_clicked，其中包含约 5000 个包含其他 ID 的项目:

 ['abc', 'efg', 'ccc']

我希望使用 user_df 对 other_ids_that_clicked 进行重复数据删除，方法是在 df 中添加另一列，当 other_ids 中的值在 user_df['other_ids'] 中时:

|  id  |  other_ids   |  clicked  |
|------|--------------|-----------|
|  1   |['abc', efg'] |     1     |
|  2   |['bbb']       |     0     |
|  3   |['ccc', 'ddd']|     1     |

我检查的方法是循环遍历 other_ids_that_clicked 中的每一行 user_df。

def otheridInList(row):
  isin = False
  for other_id in other_ids_that_clicked:
    if other_id in row['other_ids']:
        isin = True
        break
    else: 
        isin = False
  if isin:
    return 1
  else:
    return 0

这要花很长时间，所以我一直在寻找解决这个问题的最佳方法的建议。

谢谢!

Answer 1

您实际上可以大大加快速度。取出列，将其转换为自己的数据框，并使用 df.isin 进行一些检查 -

l = ['abc', 'efg', 'ccc']
df['clicked'] = pd.DataFrame(df.other_ids.tolist()).isin(l).any(1).astype(int)

   id   other_ids  clicked
0   1  [abc, efg]        1
1   2       [bbb]        0
2   3  [ccc, ddd]        1

---

详情

首先，将other_ids转换成列表列表——

i = df.other_ids.tolist()

i
[['abc', 'efg'], ['bbb'], ['ccc', 'ddd']]

现在，将它加载到一个新的数据框中 -

j = pd.DataFrame(i)

j
     0     1
0  abc   efg
1  bbb  None
2  ccc   ddd

使用 isin 执行检查 -

k = j.isin(l)

k
       0      1
0   True   True
1  False  False
2   True  False

clicked 可以通过使用 df.any 检查 True 是否出现在 any 行中来计算。结果被转换为整数。

k.any(1).astype(int)

0    1
1    0
2    1
dtype: int64