python - 通过匹配 Pandas DataFrame 中另一列中的值来获得行值的差异

Question

我有一个通过调用 Pandas.io.json.json_normalize() 生成的 DataFrame。这是一个示例:

dfIn = pd.DataFrame({'seed':[1324367672,1324367672,1324367673,1324367673,1324367674,1324367674], 'lanePolicy':[True,False,True,False,True,False,],
                   'stepsPerTrip':[40,37,93,72,23,70], 'density':[51,51,208,208,149,149]})

  seed       lanePolicy stepsPerTrip density
0 1324367672 True       40           51
1 1324367672 False      37           51
2 1324367673 True       93           208
3 1324367673 False      72           208
4 1324367674 True       23           149
5 1324367674 False      70           149

请注意，dfIn['seed'] 中有成对的匹配值与一个True和一个False值 dfIn['lanePolicy'] 。情况也是如此，如果dfIn['seed']匹配两个给定行，dfIn['densitiy']也会匹配。我想计算一个类似于以下的表:

dfDesired = pd.DataFrame({'seed':[1324367672,1324367673,1324367674], 
                   'stepsTrue':[40,93,23], 'stepsFalse':[37,72,70], 'stepsDiff':[3, 21, -47], 'density':[51,208,149]})

  seed       stepsTrue stepsFalse stepsDiff density
0 1324367672 40        37         3         51
1 1324367673 93        72         21        208
2 1324367674 23        70         -47       149

特别是，我正在寻找 dfDesired['stepsDiff'] 中的值，这是 dfIn['stepsPerTrip'] 之间的差异相关False和True dfIn['lanePolicy'] 的值对于每对匹配 dfIn['seed'] 。另请注意 dfDesired行数应为 dfIn 的一半.

我可以使用以下方法计算该单列的值:

dfDiff = dfIn.loc[dfIn['lanePolicy'] == True]['stepsPerTrip'].reset_index()['stepsPerTrip'] - dfIn.loc[dfIn['lanePolicy'] == False]['stepsPerTrip'].reset_index()['stepsPerTrip']

0     3
1    21
2   -47
Name: stepsPerTrip, dtype: int64

但是，我想创建一个新的 DataFrame 来保留其他列。我也尝试了以下方法，但得到了错误的结果:

dfDesired = dfIn.groupby('seed').apply(lambda x:x.loc[x['lanePolicy']==True]['stepsPerTrip']-x.loc[x['lanePolicy']==False]['stepsPerTrip'])

seed         
1324367672  0   NaN
            1   NaN
1324367673  2   NaN
            3   NaN
1324367674  4   NaN
            5   NaN
Name: stepsPerTrip, dtype: float64

提前谢谢您。

Answer 1

使用DataFrame.pivot ，将列减去 Series.sub对于密度列添加带有seed的系列，而不用DataFrame.drop_duplicates重复:

df = dfIn.pivot('seed','lanePolicy','stepsPerTrip').add_prefix('steps')
df['stepsDiff'] = df['stepsTrue'].sub(df['stepsFalse'])
df['density'] = dfIn.drop_duplicates('seed').set_index('seed')['density']
df = df.reset_index().rename_axis(None, axis=1)
print (df)
         seed  stepsFalse  stepsTrue  stepsDiff  density
0  1324367672          37         40          3       51
1  1324367673          72         93         21      208
2  1324367674          70         23        -47      149

另一个解决方案是 DataFrame.pivot_table如果列 seed、'密度' 和 lanePolicy 中重复，则默认聚合函数 mean:

df = (dfIn.pivot_table(index=['seed','density'], columns='lanePolicy',values='stepsPerTrip')
          .add_prefix('steps'))
df['stepsDiff'] = df['stepsTrue'].sub(df['stepsFalse'])
df = df.reset_index().rename_axis(None, axis=1)
print (df)
         seed  density  stepsFalse  stepsTrue  stepsDiff
0  1324367672       51          37         40          3
1  1324367673      208          72         93         21
2  1324367674      149          70         23        -47