python - 计算数据帧组内的差异

Question

假设我有一个包含 3 列的数据框:Date、Ticker、Value(没有索引，至少开始时)。我有很多日期和很多代码，但是每个 (ticker, date) 元组都是唯一的。 (但显然，相同的日期会出现在多行中，因为它会出现在多个行情中，而同一个行情会出现在多行中，因为它会出现很多日期。)

最初，我的行按特定顺序排列，但不按任何列排序。

我想计算每个代码(按日期排序)的第一个差异(每日变化)，并将它们放在我的数据框中的一个新列中。鉴于这种情况，我不能干脆做

df['diffs'] = df['value'].diff()

因为相邻的行不是来自同一个代码。排序如下:

df = df.sort(['ticker', 'date'])
df['diffs'] = df['value'].diff()

没有解决问题，因为会有“边界”。 IE。在该排序之后，一个代码的最后一个值将高于下一个代码的第一个值。然后计算差异将在两个股票代码之间产生差异。我不想要这个。我希望每个股票的最早日期在其差异列中以 NaN 结束。

这似乎是使用 groupby 的好时机，但无论出于何种原因，我似乎都无法让它正常工作。为了清楚起见，我想执行以下过程:

1. 根据行的ticker
对行进行分组
2. 在每个组中，按日期
对行进行排序
3. 在每个排序组内，计算 value 列的差异
4. 将这些差异放入新的 diffs 列中的原始数据帧中(最好保留原始数据帧的顺序。)

我不得不想象这是一个单线。但我错过了什么？

---

在 2013 年 12 月 17 日晚上 9:00 编辑

好的……有些进展。我可以执行以下操作来获取新的数据框:

result = df.set_index(['ticker', 'date'])\
    .groupby(level='ticker')\
    .transform(lambda x: x.sort_index().diff())\
    .reset_index()

但如果我了解 groupby 的机制，我的行现在将首先按 ticker 排序，然后按 date。那是对的吗？如果是这样，我是否需要进行合并以将差异列(当前在 result['current'] 中附加到原始数据帧 df？

Answer 1

按照你自己的描述去做会更容易，即

df.sort(['ticker', 'date'], inplace=True)
df['diffs'] = df['value'].diff()

然后修正边框:

mask = df.ticker != df.ticker.shift(1)
df['diffs'][mask] = np.nan

要保持原始索引，您可以在开始时执行 idx = df.index，然后在结束时执行 df.reindex(idx)，或者如果它是一个巨大的数据框，则执行

上的操作

df.filter(['ticker', 'date', 'value'])

然后加入最后的两个数据框。

edit:或者，(虽然仍然不使用 groupby)

df.set_index(['ticker','date'], inplace=True)
df.sort_index(inplace=True)
df['diffs'] = np.nan 

for idx in df.index.levels[0]:
    df.diffs[idx] = df.value[idx].diff()

为

   date ticker  value
0    63      C   1.65
1    88      C  -1.93
2    22      C  -1.29
3    76      A  -0.79
4    72      B  -1.24
5    34      A  -0.23
6    92      B   2.43
7    22      A   0.55
8    32      A  -2.50
9    59      B  -1.01

这将产生:

             value  diffs
ticker date              
A      22     0.55    NaN
       32    -2.50  -3.05
       34    -0.23   2.27
       76    -0.79  -0.56
B      59    -1.01    NaN
       72    -1.24  -0.23
       92     2.43   3.67
C      22    -1.29    NaN
       63     1.65   2.94
       88    -1.93  -3.58