python - Numpy:从 Pandas 数据帧创建可变长度序列

Question

假设我有以下数据框:

df_raw = pd.DataFrame({"person_id": [101, 101, 102, 102, 102, 103], "date": [0, 5, 0, 7, 11, 0], "val1": [99, 11, 22, 33, 44, 22], "val2": [77, 88, 22, 66, 55, 33]})

我想要实现的是创建一个 3 维 numpy 数组，结果应如下所示:

np_pros = np.array([[[0, 99, 77], [5, 11, 88]], [[0, 22, 22], [7, 33, 66], [11, 44, 55]], [[0, 22, 33]]])

换句话说，3D 数组应具有以下形状 [unique_ids, None, feature_size]。在我的例子中，unique_ids 的数量是 3，feature size 是 3(除 person_id 之外的所有列)， y 列的长度可变，它表示 person_id 的测量次数。

我很清楚我可以创建一个 np.zeros((unique_ids, max_num_features, feature_size)) 数组，填充它然后删除我不需要但我想要的元素快点。原因是我的实际数据框很大(大约 [50000, 455])，这将导致一个大约 [12500, 200, 455] 的 numpy 数组。

期待您的回答!

Answer 1

这是一种方法:

ix = np.flatnonzero(df1.person_id != df1.person_id.shift(1))
np.split(df1.drop('person_id', axis=1).values, ix[1:])

[array([[ 0, 99, 77],
        [ 5, 11, 88]], dtype=int64), 
 array([[ 0, 22, 22],
        [ 7, 33, 66],
        [11, 44, 55]], dtype=int64), 
 array([[ 0, 22, 33]], dtype=int64)]

详情

使用np.flatnonzero在将 df1 与自身的移位版本 ( pd.shift ) 进行比较以获得 person_id 发生变化的索引之后:

ix = np.flatnonzero(df1.person_id != df1.person_id.shift(1))
#array([0, 2, 5])

使用np.split为了根据获得的索引拆分数据框的感兴趣列:

np.split(df1.drop('person_id', axis=1).values, ix[1:])

[array([[ 0, 99, 77],
        [ 5, 11, 88]], dtype=int64), 
 array([[ 0, 22, 22],
        [ 7, 33, 66],
        [11, 44, 55]], dtype=int64), 
 array([[ 0, 22, 33]], dtype=int64)]