python - 在 pandas 中查找二维补集

Question

我有两个 pandas 数据框，a 和 b。 a 和 b 共享两个公共(public)列，例如 x 和 y，其中包含英语字符串。 x 和 y 的每个组合在 a 和 b 中都是唯一的。 x 和 y 有一个公共(public)子集，我可以这样计算

c = pandas.merge(a, b, on=['x', 'y'])

我感兴趣的是其余的，d = a - c，相对于 x 和 y 两列，这应该是 a 中的行而不是 b 中的行。

我目前所做的是添加另一个列 xy:

a['xy'] = a['x'] + a['y']
c['xy'] = c['x'] + c['y']

然后

d = a[~a['xy'].isin(c['xy'])]

这对我来说似乎很笨拙，有没有更优雅的方法来做到这一点？

Answer 1

Pandas merge有一个选项可以添加一个指示列，告诉您数据来自哪里。将其与外部合并相结合应该可以满足您的需求。

a_b = pd.merge(a, b, on=['x', 'y'],how="outer",indicator="string")
a.loc[~(a_b.string=="both"),:]

在一些组成的数据帧上进行测试

a_rand = np.reshape(np.random.randint(8,size=40),[10,4])
b_rand = np.reshape(np.random.randint(8,size=40),[10,4])
a = pd.DataFrame(a_rand, columns = ['x','y','a1','a2'])
b = pd.DataFrame(b_rand, columns = ['x','y','b1','b2'])

共享行

pd.merge(a, b, on=['x', 'y'])
    x   y   a1  a2  b1  b2
0   0   6   2   3   1   6
1   3   1   5   5   0   5
2   3   0   4   0   3   2

外连接显示行的来源

pd.merge(a, b, on=['x', 'y'],how="outer",indicator="string")
    x   y   a1  a2  b1  b2  string
0   0   4   1.0 7.0 NaN NaN left_only
1   0   4   2.0 1.0 NaN NaN left_only
2   0   6   2.0 3.0 1.0 6.0 both
3   5   7   0.0 6.0 NaN NaN left_only
4   5   7   2.0 5.0 NaN NaN left_only
5   3   1   5.0 5.0 0.0 5.0 both
6   3   0   4.0 0.0 3.0 2.0 both
7   1   5   2.0 5.0 NaN NaN left_only
8   6   2   0.0 2.0 NaN NaN left_only
9   4   6   6.0 5.0 NaN NaN left_only
10  0   5   NaN NaN 0.0 2.0 right_only
11  1   4   NaN NaN 4.0 4.0 right_only
12  2   7   NaN NaN 4.0 1.0 right_only
13  5   6   NaN NaN 7.0 1.0 right_only
14  3   5   NaN NaN 0.0 0.0 right_only
15  4   7   NaN NaN 3.0 4.0 right_only
16  7   2   NaN NaN 3.0 4.0 right_only

最后，你想要的输出

a.loc[~(a_b.string=="both"),:]

    x   y   a1  a2
0   0   4   1   7
1   0   6   2   3
3   0   4   2   1
4   3   1   5   5
7   1   5   2   5
8   6   2   0   2
9   4   6   6   5