Python- Pandas : difference between monthly mean of day-mean values and monthly mean per se

Question

我有不同的数据帧均值计算值。通常，我想它们应该是一样的。或者有什么区别:

daily1 = daily_above_zero['2011-2'].mean()

daily1
Out[181]: 
P_Sanyo_Gesloten    136.751724
P_Sanyo_Open        142.491701
dtype: float64

或

daily2 = daily_above_zero['2011-2'].resample('m',how='mean')

daily2
Out[187]: 
P_Sanyo_Gesloten    136.751724
P_Sanyo_Open        142.491701
dtype: float64

还有这个:

daily2 = daily_above_zero['2011-2'].resample('D',how='mean').mean()

daily2
Out[185]: 
P_Sanyo_Gesloten    132.178545
P_Sanyo_Open        137.536975
dtype: float64

Answer 1

In [11]: df = DataFrame(randn(100000,2),index=pd.date_range('20130101',periods=100000,freq='T'),columns=list('AB'))

In [12]: df
Out[12]: 
<class 'pandas.core.frame.DataFrame'>
DatetimeIndex: 100000 entries, 2013-01-01 00:00:00 to 2013-03-11 10:39:00
Freq: T
Data columns (total 2 columns):
A    100000  non-null values
B    100000  non-null values
dtypes: float64(2)

这是每列所有观察值的总和/100000

In [13]: df.mean()
Out[13]: 
A   -0.001421
B   -0.000764
dtype: float64

这是每列的平均值，但按月分组，因此每个月的 obs 数量不同

In [14]: df.resample('m',how='mean')
Out[14]: 
                   A         B
2013-01-31 -0.004447  0.003479
2013-02-28  0.001062 -0.002656
2013-03-31  0.000903 -0.008289

只是上述数字的平均值，例如月平均值的平均值

In [15]: df.resample('m',how='mean').mean()
Out[15]: 
A   -0.000827
B   -0.002489
dtype: float64

每天分组然后取平均值

In [16]: df.resample('D',how='mean')
Out[16]: 
<class 'pandas.core.frame.DataFrame'>
DatetimeIndex: 70 entries, 2013-01-01 00:00:00 to 2013-03-11 00:00:00
Freq: D
Data columns (total 2 columns):
A    70  non-null values
B    70  non-null values
dtypes: float64(2)

天数的平均值

In [17]: df.resample('D',how='mean').mean()
Out[17]: 
A   -0.001005
B   -0.001491
dtype: float64

例如，如果您的所有观察结果都在同一个月内，那么(您在上面的第 1 部分和第 2 部分)

df.resample('M',how='mean') == df.mean()

第 3 部分应该是相同的，前提是您每天都有一套完整的观察结果。如果是这种情况，您的示例中不清楚。

In [19]: df['2013-2'].mean()
Out[19]: 
A    0.001062
B   -0.002656
dtype: float64

In [20]: df['2013-2'].resample('D',how='mean').mean()
Out[20]: 
A    0.001062
B   -0.002656
dtype: float64

当我的意思是每一天时，对于我的例子来说，每一天都有 60*24 obs

In [21]: df['2013-2'].count()
Out[21]: 
A    40320
B    40320
dtype: int64

In [22]: 24*60
Out[22]: 1440

2 月 28 天

In [23]: 24*60*28
Out[23]: 40320