python - 如何根据 pandas 数据框中的复杂组合创建指标

Question

我有一个像这样的表，其中有数千个 clm_id:这里给出了两个 clm_id。 clm-ids 和 tmstp 可以任意顺序。这里我按照升序展示了 tmstp 来进行解释。如果 cd1 为 50/600 并且 cd2 !=0，我必须创建一个指标 1，否则每个 clm_id 为 0。但对于同一个 clm_id，如果多次出现 cd1，那么我必须在 tmstp 上查看哪一个是最新的以及它们的组合是什么。就像 clm_id=1 cd1=50 & cd2=10 设置指标 =1。在第二行中 cd1=600 & cd2=10 也设置指标=1，但在第三行 cd1=600 & cd2=0 设置指标= 0。但仍然第一个条件 cd1=50 & cd2=10 具有指标= 1 所以对于此 clm_id 指示符=1 仍然有效。但对于 clm_id=2，指标 = 0，因为之前 cd1=50 和 cd2=10 设置指标 1，但后来 cd2=0，因此指标变为 0。这很复杂，因此需要您的帮助。

clm_id  cd1  cd2  tmstp
1       50 . 10   2019-01-01
1 .     600 .10 . 2010-01-01
1 .     600 .0    2010-01-02
2 .     50   10   2010-01-01
2 .     50 . 0 .  2010-01-02
2 .     42 . 40 . 2010-01-02

在最终结果中，每个 clm_id 的指示器应如下所示:

clm_id indicator
1 .     1
2 .     0

最初我不知道对于相同的 clm_id cd1 和 cd2 组合可以随时间变化(tmstp)，因此我尝试使用此方法来设置指示器:

def add_inj_id(x):
    if (x['cd1'] == 50 or x['cd1'] == 600) and x['cd2'] != '0':
        val = 1
    else:
        val = 0
    return val

inj_df['inj_id'] = inj_df.apply(add_inj_id, axis=1)

Answer 1

如果需要转换 'tmstp' 为 DateTime，以便可以进行比较:

df['tmstp'] = pd.to_datetime(df['tmstp'])

按'clm_id'对DataFrame进行分组:

gb = df.groupby('clm_id')

保留结果的命名元组列表

import collections
results = []
Result = collections.namedtuple('Result',['clm_id','indicator'])

迭代'clm_id'组；对于每个由 'cd1' 分割的 clm_id；找到最近的cd1并判断其cd2是否不为零；检查 50 或 600 子组是否为 True；存储结果。

for clm_id,group in gb:
    cd1_grp = group.groupby('cd1')
    # Start with the indicators set to False
    ind = {50:False,600:False}
    for cd1,subgroup in cd1_grp:
        if cd1 not in (50,600):
            continue
        most_recent = subgroup.loc[subgroup['tmstp'].idxmax()]
        ind[cd1] = most_recent.cd2 != 0
    indicator = (ind[50] or ind[600]) * 1
    results.append(Result(clm_id,indicator))

>>> results
[Result(clm_id=1, indicator=1), Result(clm_id=2, indicator=0)]

>>> pd.DataFrame(results)
   clm_id  indicator
0       1          1
1       2          0
>>> 

<小时/>

我使用嵌套 for 循环(双 groupby)来计算逻辑。这是一个更好的版本 - 用两列分组。

gb1 = df.groupby(['clm_id','cd1'])
d = {}
for (clm_id,cd1),group in gb1:
    if clm_id not in d:
        d[clm_id]=0
    if cd1 not in (50,600):
        continue
    most_recent = group.loc[group['tmstp'].idxmax()]
    d[clm_id] = d[clm_id] or int(most_recent.cd2 != 0)

>>> d
{1: 1, 2: 0}
>>> pd.DataFrame(list(d.items()),columns=['clm_id','indicator'])
   clm_id  indicator
0       1          1
1       2          0
>>> 

字典可以用d = dict.fromkeys(df['clm_id'].unique(),0)来制作。这将使 if clm_id not in d:... 条件语句变得不必要。不清楚这将如何影响性能。

<小时/>

测试数据框

import io
s = '''clm_id  cd1  cd2  tmstp
1       50  10   2019-01-01
1      600 10  2010-01-01
1      600 0    2010-01-02
2      50   10   2010-01-01
2      50  0   2010-01-02
2      42  40  2010-01-02'''

df = pd.read_csv(io.StringIO(s), delimiter='\s+')