python - 使用 Numpy 过滤两个数据框

Question

我有两个数据框。它们的结构如下:
df


信
ID


一种
3

乙
4


df b


信
ID
值(value)


一种
3
100

乙
4
300

乙
4
100

乙
4
150

一种
3
200

一种
3
400


我需要从 df B 的 df A 值中获取每个字母和 ID 组合，然后运行异常值函数。
目前我使用了超过 40,000 行的 A 和 4,500,000 的列表 b

a['Results'] =  a.apply(lambda x: outliers(b[(b['Letter']==x['Letter']) & (b['ID']==x['ID'])]['value'].to_list()),axis=1)

正如您可以想象的那样，这需要永远。我是否犯了一些错误或可以改进此代码的东西？

Answer 1

我首先聚合 [Letter, ID] 的每个组合在 df_b使用 .groupby 进入列表，然后与 df_a 合并并申请您的 outliers后发挥作用。应该更快:

df_a["results"] = df_a.merge(
    df_b.groupby(["Letter", "ID"])["Value"].agg(list),
    left_on=["Letter", "ID"],
    right_index=True,
    how="left",
)["Value"].apply(outliers)
print(df_a)