python - 在两个列表中查找重叠对象的最快方法

Question

我有两个自定义对象列表 train 和 test，大小分别为 9,904 和 7,223。每个列表中的元素都是唯一的。

我想找到存在于两个 列表中的元素。目前我正在使用以下方法，但速度非常慢:

overlap = [e for e in test if e in train]

有没有更快的方法来实现这一点？

Answer 1

为了完成@Jeff 的回答，我们可以比较两种方法的计算时间:

import numpy as np
import time

test = np.random.randint(1,50000,10000)
train = np.random.randint(1,50000,10000)

start_list = time.time()
overlap = [e for e in test if e in train]
end_list = time.time()
print("with list comprehension: " + str(end_list - start_list))

set_test = set(test)
set_train = set(train)

start_set = time.time()
overlap = set_test.intersection(set_train)
end_set = time.time()
print("with sets: " + str(end_set - start_set))

我们得到输出:

with list comprehension: 0.08894968032836914
with sets: 0.0003533363342285156

因此使用集合的方法快了大约 300 倍。