python - pandas:如何限制 str.contains 的结果？

Question

我有一个超过 100 万行的 DataFrame。我想选择特定列包含特定子字符串的所有行:

matching = df['col2'].str.contains('substr', case=True, regex=False)
rows = df[matching].col1.drop_duplicates()

但是这个选择很慢，我想加快速度。假设我只需要前 n 个结果。有没有办法在得到 n 个结果后停止匹配？我试过:

matching = df['col2'].str.contains('substr', case=True, regex=False).head(n)

和:

matching = df['col2'].str.contains('substr', case=True, regex=False).sample(n)

但它们并没有更快。第二个语句是 bool 值并且非常快。我怎样才能加快第一个声明？

Answer 1

信不信由你，但 .str 访问器很慢。您可以使用具有更好性能的列表理解。

df = pd.DataFrame({'col2':np.random.choice(['substring','midstring','nostring','substrate'],100000)})

相等性测试

all(df['col2'].str.contains('substr', case=True, regex=False) ==
    pd.Series(['substr' in i for i in df['col2']]))

输出:

True

时间:

%timeit df['col2'].str.contains('substr', case=True, regex=False)
10 loops, best of 3: 37.9 ms per loop

对比

%timeit pd.Series(['substr' in i for i in df['col2']])
100 loops, best of 3: 19.1 ms per loop