将过滤器应用于表的 Pythonic 方法

Question

我有两张 table 。一个数据表和一个过滤表。我想在数据表上应用过滤器表以仅选择某些记录。当过滤表的某一列中有#时，该过滤器将被忽略。此外，可以使用 | 应用多个选择。分隔符。

我使用带有一堆 & 和 | 的 for 循环实现了这一点状况。但是，鉴于我的过滤表非常大，我想知道是否有更有效的方法来实现这一点。我的过滤表如下所示:

import pandas as pd
import numpy as np

f = {'business':['FX','FX','IR','IR','CR'],
     'A/L':['A','L','A','L','#'],
     'Company':['207|401','#','#','207','#']}
filter = pd.DataFrame(data=f)
filter

数据表如下所示:

d = {'business': ['FX','a','CR'],
     'A/L': ['A','A','L'],
     'Company': ['207','1','2']}
data = pd.DataFrame(data=d)
data

最后过滤器看起来像:

for counter in range (0, len(filter)):
    businessV = str(filter.iat[counter,0])
    ALV = str(filter.iat[counter,1])
    CompanyV = str(filter.iat[counter,2])


    businessV1 = businessV.split("|", 100)
    ALV1 = ALV.split("|", 100)
    CompanyV1 = CompanyV.split("|", 100)

    businessV2 = ('#' in businessV1)| (data['business'].isin(businessV1))
    ALV2 = ('#' in ALV1)|(data['A/L'].isin(ALV1))
    CompanyV2 = ('#' in CompanyV1)| (data['Company'].isin(CompanyV1))

    final_filter = businessV2 & ALV2 & CompanyV2
    print(final_filter)

我试图找到一种更有效的方法来使用筛选表中的筛选器来选择数据表中的第一行和最后一行。

具体来说，我想知道如何:

1. 处理过滤表有更多列的情况
2. 当前代码针对过滤表中的每一行遍历数据表中的每一行一次。对于大型数据集，这会花费太多时间，而且对我来说似乎效率不高。

Answer 1

这是一个相当复杂的问题。我将首先通过复制包含 '|' 的行来预处理过滤表，使每个字段只有一个值。为了限制无用行的数量，我首先将包含 '#' 和其他值的任何内容替换为单个 '#'。

完成此操作后，可以使用 merge 从业务表中选择行，前提是在不包含锐角的列上进行合并。

代码可以是:

# store the original column names
cols = filter.columns
# remove any alternate value if a # is already present:
tosimp = pd.DataFrame({col: filter[col].str.contains('#')&
                       filter[col].str.contains('\|')
                       for col in cols})

# add a column to store in a (hashable) tuple the columns with no '#'
filter['wild'] = filter.apply(lambda x: tuple(col for col in cols
                                             if x[col] != '#'), axis=1)

# now explode the fields containing a '|'
tosimp = pd.DataFrame({col: filter[col].str.contains('\|')
                       for col in filter.columns})

# again, store in a new column the columns containing a '|'
tosimp['wild'] = filter.apply(lambda x: tuple(col for col in cols
                                             if '|' in filter.loc[x.name, col]),
                              axis=1)

# compute a new filter table with one single value per field (or #)
# by grouping on tosimp['wild']
dfl = [filter[tosimp['wild'].astype(str)=='()']]
for k, df in filter[tosimp['wild'].astype(str)!='()'].groupby(tosimp['wild']):
    for ix, row in df.iterrows():
        tmp = pd.MultiIndex.from_product([df.loc[ix, col].split('|')
                                          for col in k], names=k).to_frame(None)
        l = len(tmp)
        dfl.append(pd.DataFrame({col: tmp[col]
                                 if col in k else [row[col]] * l
                                 for col in filter.columns}))

filter2 = pd.concat(dfl)

# Ok, we can now use that new filter table to filter the business table
result = pd.concat([data.merge(df, on=k, suffixes=('', '_y'),
                               right_index=True)[cols]
                    for k, df in filter2.groupby('wild')]).sort_index()

限制:

• 预处理按数据帧对分组进行迭代并使用 iterrows 调用:在大型过滤表上可能需要一些时间
• 当前算法根本不处理在其所有字段中包含 '#' 的行。如果它是一个可能的用例，则必须在任何其他处理之前对其进行搜索。无论如何，在这种情况下，业务表中的任何行都将被保留。

---

pd.concat(... 行的解释:

• [... for k, df in filter2.groupby('wild')]:将过滤器数据帧拆分为子数据帧，每个子数据帧具有不同的 wild 值，那是一组不同的非#字段
• data.merge(df, on=k, suffixes=('', '_y'), right_index=True):将每个子过滤器数据帧与非#字段上的数据数据帧合并，即从数据数据框中选择与这些过滤器行之一匹配的行。保留数据dataframe的原始索引
• ...[cols] 只保留相关字段
• pd.concat(...) 连接所有这些部分数据帧
• ... .sort_index() 根据其索引对连接的数据帧进行排序，该索引是通过构建原始数据数据帧的索引