python - 使用 python 数据表按组创建行号

Question

如果我有这样的 python 数据表:

from datatable import f, dt
data = dt.Frame(grp=["a","a","b","b","b","b","c"], value=[2,3,1,2,5,9,2])

如何按组创建一个具有行号的新列？。也就是说，什么是 R data.table 的等价物

data[, id:=1:.N, by=.(grp)]

这可行，但看起来完全荒谬

data['id'] = np.concatenate(
                [np.arange(x)
                    for x in data[:,dt.count(), dt.by(f.grp)]['count'].to_numpy()])

期望的输出:

   | grp    value     id
   | str32  int32  int64
-- + -----  -----  -----
 0 | a          2      0
 1 | a          3      1
 2 | b          1      0
 3 | b          2      1
 4 | b          5      2
 5 | b          9      3
 6 | c          2      0

Answer 1

更新:

数据表现在有一个 cumcount开发中的功能:

data[:, [f.value, dt.cumcount()], 'grp']

   | grp    value     C0
   | str32  int32  int64
-- + -----  -----  -----
 0 | a          2      0
 1 | a          3      1
 2 | b          1      0
 3 | b          2      1
 4 | b          5      2
 5 | b          9      3
 6 | c          2      0
[7 rows x 3 columns]

旧答案:

datatable没有累计计数函数，实际上目前任何聚合都没有累计函数。

一种可能提高速度的方法是使用更快的 numpy 迭代，其中 for 循环在 C 中完成，并且效率更高。代码来自here并为此目的进行了修改:

from datatable import dt, f, by
import numpy as np

In [244]: def create_ranges(indices):
     ...:     cum_length = indices.cumsum()
     ...:     ids = np.ones(cum_length[-1], dtype=int)
     ...:     ids[0] = 0
     ...:     ids[cum_length[:-1]] = -1 * indices[:-1] + 1
     ...:     return ids.cumsum()


counts =  data[:, dt.count(), by('grp', add_columns=False)].to_numpy().ravel()
data[:, f[:].extend({"counts" : create_ranges(counts)})]

   | grp    value  counts
   | str32  int32   int64
-- + -----  -----  ------
 0 | a          2       0
 1 | a          3       1
 2 | b          1       0
 3 | b          2       1
 4 | b          5       2
 5 | b          9       3
 6 | c          2       0
[7 rows x 3 columns]

create_ranges 函数很棒(建立在 cumsum 上的逻辑很好)，并且随着数组大小的增加真正发挥作用。

当然这有它的缺点；你正在走出数据表进入 numpy 领域，然后回到数据表；另一方面是我寄希望于这样一个事实，即这些组是按词汇排序的；如果数据未排序(并且必须在分组列上排序)，这将不起作用。

初步测试显示速度有显着提升；同样，它的范围有限，如果将其纳入数据表库，将会更容易/更好。

如果你擅长C++，你可以考虑把这个函数贡献给这个库；我和其他很多人都会感谢您的努力。

您可以查看 pypolars，看看它是否对您的用例有帮助。从 h2o 基准测试来看，它看起来像一个非常快的工具。