python - 数据帧操作和合并Python

Question

  I have a dataframe,df1 

        inp   aco   drtn                
      2.3.6  dp   Less than 1 min         
      2.3.6  ft   5-10 min        
      2.5.9  dp   More than 1 hour        
      0.8.0  dp    1-5 min                
      2.3.6  dp   10-30 min               
      2.3.6  dp   More than 1 hour        
      0.8.0  dp   Less than 1 min         
      0.8.0  dp   1-5 min                 

df1 应通过计算出现次数按 3 列进行分组。新的数据框 df2 将如下所示:

       inp   aco   drtn                count
      2.3.6  dp   Less than 1 min         1
      2.3.6  ft   5-10 min                1
      2.5.9  dp   More than 1 hour        1
      0.8.0  dp    1-5 min                2
      2.3.6  dp   10-30 min               1
      2.3.6  dp   More than 1 hour        1
      6.2.6  dp   1-5 min                 1

列:“drtn”应转换为新列:“convert”。例如，此 convrt 列将如下所示:小于 1 分钟=0.59 分钟，超过 1 小时=61 分钟，1-5 分钟= 5 分钟，5-10 分钟=10 分钟，10-30 分钟=30 分钟。另一个新列:'calc' 应定义为 'count' 列的值乘以列中的值: 'convrt' 。然后一个新的数据框 df3 应如下所示:

       inp   aco   drtn                 count   convrt   calc
      2.3.6  dp   Less than 1 min         1     0.59     0.59
      2.3.6  ft   5-10 min                1      10      10
      2.5.9  dp   More than 1 hour        1      61      61
      0.8.0  dp    1-5 min                2       5      10
      2.3.6  dp   10-30 min               1      30      30
      2.3.6  dp   More than 1 hour        1      61      61
      6.2.6  dp   1-5 min                 1       5       5

然后是一个新的数据框，df4，由“aco”列过滤。例如:只有具有 dp 的值才应该被保留。然后是一个新列:pct，用于计算列:'calc' 中的变化百分比。

       inp   aco   drtn                 count   convrt   calc   pct
      2.3.6  dp   Less than 1 min         1     0.59     0.59   0.003
      2.5.9  dp   More than 1 hour        1      61      61     36.40
      0.8.0  dp    1-5 min                2       5      10     0.060
      2.3.6  dp   10-30 min               1      30      30     17.90 
      2.3.6  dp   More than 1 hour        1      61      61     36.40
      6.2.6  dp   1-5 min                 1       5       5     0.030 

然后是一个新的数据框，df5，其中有一个新列:'pct'，它将 df3 的 'calc' 列以及 df4 的 'calc' 列中的所有值相加，然后继续除以(df4/df3 )并乘以 100 与名为列:'aco' 的过滤值的索引。然后，新列“totalCalcFilteredColumn”获取过滤数据帧 df4 中“calc”列的总和。另一列名为:'diff'，它将 df3 的 'calc' 列和 df4 的 'calc' 列中的所有值相加，然后进行减法(df3-df4)

        pctTime      totalCalcFilteredColumn     diff    
  dp    94.37         167.59                     10        
  ft    5.63           10                       167.59    

我该如何解决这个问题？

Answer 1

设置:

temp=u"""inp;aco;drtn
2.3.6;dp;Less than 1 min
2.3.6;ft;5-10 min
2.5.9;dp;More than 1 hour
0.8.0;dp;1-5 min
2.3.6;dp;10-30 min
2.3.6;dp;More than 1 hour
0.8.0;dp;1-5 min
6.2.6;dp;1-5 min"""
#after testing replace 'pd.compat.StringIO(temp)' to 'filename.csv'

df = pd.read_csv(pd.compat.StringIO(temp), sep=";")
print (df)
     inp aco              drtn
0  2.3.6  dp   Less than 1 min
1  2.3.6  ft          5-10 min
2  2.5.9  dp  More than 1 hour
3  0.8.0  dp           1-5 min
4  2.3.6  dp         10-30 min
5  2.3.6  dp  More than 1 hour
6  0.8.0  dp           1-5 min
7  6.2.6  dp           1-5 min

解决方案:

d = {'1-5 min': 5, '10-30 min': 30, '5-10 min': 10,
'Less than 1 min': 0.59, 'More than 1 hour': 61}

df = df.groupby(['inp', 'aco', 'drtn'], sort=False).size().reset_index(name='count')
#map column by dictionary
df['convrt'] = df['drtn'].map(d)
df['calc'] = df['convrt'].mul(df['count'])
#divide by groups - transform create Series with same size as original df
df['pct'] = df['calc'].div(df.groupby('aco')['calc'].transform('sum')).mul(100)
print (df)
     inp aco              drtn  count  convrt   calc         pct
0  2.3.6  dp   Less than 1 min      1    0.59   0.59    0.352050
1  2.3.6  ft          5-10 min      1   10.00  10.00  100.000000
2  2.5.9  dp  More than 1 hour      1   61.00  61.00   36.398353
3  0.8.0  dp           1-5 min      2    5.00  10.00    5.966943
4  2.3.6  dp         10-30 min      1   30.00  30.00   17.900829
5  2.3.6  dp  More than 1 hour      1   61.00  61.00   36.398353
6  6.2.6  dp           1-5 min      1    5.00   5.00    2.983472

<小时/>

#aggregate sum 
df = df.groupby('aco')['calc'].sum().reset_index(name='totalCalcFilteredColumn')
summed = df['totalCalcFilteredColumn'].sum()
df['pctTime'] = df['totalCalcFilteredColumn'].div(summed).mul(100)
#rsub means sub from right  summed - df['calc']
df['diff'] = df['totalCalcFilteredColumn'].rsub(summed)
print (df)
  aco  totalCalcFilteredColumn    pctTime    diff
0  dp                   167.59  94.369052   10.00
1  ft                    10.00   5.630948  167.59