python - 比较两个数据框中的值

Question

我有一个名为 ref 的引用数据框看起来像这样:

ref = pd.DataFrame({'col1':['a','b','c','d'],
                  'col2':[100,100,100,300],
                  'col3':[200,200,500,400],
                  'col4':[300,np.NaN,600,600],
                  'col5':[400,np.NaN, 700,700]})

        col1    col2    col3    col4    col5
    0     a     100     200     300     400
    1     b     100     200     NaN     NaN
    2     c     100     500     600     700
    3     d     300     400     600     700

我还有另一个名为 df 的数据框看起来像:

df = pd.DataFrame({'col2':[105,100,100,200,300],
                  'col3':[202,200,200,300,391],
                  'col4':[300,np.NaN,350,400,605],
                  'col5':[398,np.NaN, 450,500,701]})

    col2    col3    col4    col5
0   105     202     300     398
1   100     200     NaN     NaN
2   100     200     350     450
3   200     300     400     500
4   300     391     605     701

我想做的是比较 df 的每一行行 ref以确定它们是否对应于 a, b, c, d或None 。因为 df 中的值可能与 ref 中的稍有不同，我想允许一些“错误”，这样如果两个值之间的差异不大于 10，我们就允许匹配。

最后，我想得到这样的东西:

    col2    col3    col4    col5   id
0   105     202     300     398    a
1   100     200     NaN     NaN    b
2   100     200     350     450    none
3   200     300     400     500    none
4   300     391     605     701    d

在我看来，这个想法是从 df['col2'] 中的值开始。 ，验证它是否与 ref['col2'] 中的任何行匹配并且，对于匹配的那些，验证是否 df['col3']也匹配ref['col3']等等等等。一旦我们确定(或没有)ref 中唯一匹配的行， ，返回 ref['col1] 中写入的标识符.

如果可能的话，我需要一些“高效”的东西，因为我的原始数据集最多可以有 135 列。但我认为，当我不再关注 ref 中的行时不匹配，处理剩下的会变得更容易吗？

我刚刚开始用 python 编码并自己使用 pandas，我承认我有点迷失。我不一定要求最终代码，但有人可以向我发送正确的方向吗？

我开始编码:

for read in df.itertuples():
    for ref in ref.itertuples():
        if abs(read[1]-ref[2]) <= 10:
            print(str(read[0])+' match '+str(ref[1]))
        else:
            print(str(read[0])+' match None')

但我并没有走得太远..首先，我不知道如何“锁定”匹配的行，以便我能够专门处理它们以进行进一步的比较。秒，它为每一行不匹配返回“none”，而不是如果没有匹配则只返回一行(我认为这是因为我正在使用 itertuples() )

感谢您阅读所有内容，并提前感谢您提供任何提示!

编辑:

这是我现在拥有的代码片段。我正在使用np.isclose()用于与公差进行比较。但我确信有一种方法可以避免为每次比较编写每个“if”条件..(特别是在我的最终 DataFrame 中有 135 列)

for read in df.itertuples():
    for ref in df2.itertuples():
        if np.isclose(read[1],ref[2],atol=10, equal_nan=True) == True:
            if np.isclose(read[2],ref[3],atol=10, equal_nan=True) == True:
                if np.isclose(read[3],ref[4],atol=10, equal_nan=True) == True:
                    if np.isclose(read[4],ref[5],atol=10, equal_nan=True) == True:
                        print(str(read[0])+' match '+str(ref[1]))

Answer 1

这是一种易于设置的方法，只需 5 列，不确定最多 135 列，但它可能会给您一个想法。

首先将 NaN 替换为 0(或远离您拥有的所有值的任何值)，然后为每个 colX 创建两列“sup”和“inf”取决于引用中的错误标准:

df = df.fillna(0)
ref = ref.fillna(0)
for nb in range(2,6):
    ref['col' + str(nb) + 'sup'] = ref['col' + str(nb)] + 10
    ref['col' + str(nb) + 'inf'] = ref['col' + str(nb)]  -10

现在定义一个函数find_match应用于df的每一行，它将选择ref匹配的行:

def find_match ( row, ref):    
        row_ref = ref[(ref['col2sup'] >= row['col2']) & (ref['col2inf'] <= row['col2']) &
                      (ref['col3sup'] >= row['col3']) & (ref['col3inf'] <= row['col3']) &
                      (ref['col4sup'] >= row['col4']) & (ref['col4inf'] <= row['col4']) &
                      (ref['col5sup'] >= row['col5']) & (ref['col5inf'] <= row['col5'])]
        if not row_ref.empty:
            return row_ref['col1'].values[0]
        else:
            return None

这里可能很难概括为 135 列。

现在您可以在 df 中创建列 id:

df['id'] = df.apply(find_match, args=([ref]),axis=1)

你就得到了预期的输出

编辑:要最多 N 列，您可以在 find_match 中将 row_ref 替换为:

row_ref =  ref.copy()
for i in range(2,6):
    row_ref = row_ref[(ref['col'+str(i)+'sup'] >= row['col'+str(i)]) &
                      (ref['col'+str(i)+'inf'] <= row['col'+str(i)])]

例如，将 6 更改为 136。但我不确定这种方法在大数据上的效率。

编辑2:因此使用np.isclose，您可以执行以下操作:

# definition of the function, change the 4 to the right number
def find_match ( row, df_ref):
    ser = df_ref[pd.np.isclose(row.iloc[:4], df_ref.iloc[:,1:], atol=0.1).all(axis=1)]['col1']
    if not ser.empty:
        return ser.values[0]
    else:
        return None
# and then apply
df['id'] = df.apply(find_match , args=([ref]),axis=1)

EDIT3: 如果 Nan:

则不比较所有行

def find_match ( row, df_ref):
    col_nan = row[row.isnull()].index
    if not col_nan.empty:
        ind_col = row.index.get_loc(col_nan[0])+1
    else:
        ind_col = 4 # number of column to compare if no nan in the row
    ser = df_ref[pd.np.isclose(row.iloc[:ind_col], df_ref.iloc[:,1:ind_col+1], atol=10, equal_nan=True).all(axis=1)]['col1']
    if not ser.empty:
        return ser.values[0]
    else:
        return None

注意:您可能会找到另一种获取 ind_col 的方法，但这应该可行。让我知道它是否真的更快(这取决于有多少行有 nan 以及我猜有多少行)。