python - Numpy 和 Pandas - 用零填充 reshape

Question

我有一个 csv，其中包含要导入到 ndarray 的数据，以便我可以对其进行操作。 csv 数据的格式如下。

u i r c
1 1 5 1
2 2 5 1
3 3 1 0
4 4 1 1

我想连续获得所有 c = 1 的元素，以及另一个 c = 0 的元素，就像这样，降低维度。

1  1 1 5 2 2 5 4 4 1
0  3 3 1

但是，不同的 u 和 i 不能在同一列中，因此最终结果需要零填充，就像这样。我想保留c变量列，因为它代表一个分类变量，所以我需要保留它的值才能使信息和c值之间产生对应关系。我不想仅仅根据 c 的值来分离数据。

1 1 1 5 2 2 5 0 0 0 4 4 1
0 0 0 0 0 0 0 3 3 1 0 0 0

到目前为止，我正在阅读带有 df = pd.read_csv 的 .csv 文件。并使用 arr=df.to_numpy() 创建多维数组/张量.之后，我将排列列的顺序以使 c 列成为第一个，得到这个数组 [[ 1 1 1 5][ 1 2 2 5][ 0 3 3 1][ 1 4 4 1]] .

然后我做 arr = arr.reshape(2,) ，因为 c 有两个可能的值，然后根据元组的长度删除除第一个 c 之外的所有列。所以在这种情况下，由于每个元组中有 4 个元素和 16 个元素，我正在做 arr = np.delete(arr, (4,8,12), axis=1) .

最后，当 u 与两列都不匹配时，我这样做是为了用零填充数组。

nomatch = 0
for j in range(1, cols, 3):
    if arr[0][j] != arr[1][j]:
        nomatch+=1
z = np.zeros(nomatch*3, dtype=arr.dtype)
h1 = np.split(arr, [0][0])
new0 = np.concatenate((arr[0],z))
new1 = np.concatenate((z,arr[1])) # problem

final = np.concatenate((new0, new1))

在注释行中，问题是如何在保持第一个元素的同时连接数组。我希望能够设置开始和结束索引并仅在这些索引上修补零，而不仅仅是附加。通过使用连接，我没有得到预期的结果，因为我正在更改第一个元素(数组的头部应该保持不变)。

此外，我不禁想知道这是否是实现最终结果的好方法。例如，我尝试在使用 np.resize() reshape 之前使用 resize 填充数组，但它不起作用，当我打印结果时，无论我用作参数的维度如何，数组都与以前的相同。如果 c 有 3 个或更多可能的值，并且可以包括多个类似 c 的值，例如 c1、c2... 将成为表中的行，那么一个好的解决方案将是一个合适的解决方案。我提前感谢所有输入和建议。

Answer 1

这是一个紧凑的 numpy 方法:

asnp = df.to_numpy()
(np.bitwise_xor.outer(np.arange(2),asnp[:,3:])*asnp[:,:3]).reshape(2,-1)
# array([[1, 1, 5, 2, 2, 5, 0, 0, 0, 4, 4, 1],
#        [0, 0, 0, 0, 0, 0, 3, 3, 1, 0, 0, 0]])

更新:多类别:

类别必须是最后 k 列，并且列标题以“cat”开头。我们为每个唯一的类别组合创建一行，这个组合被添加到行中。

代码:

import numpy as np
import pandas as pd
import itertools as it

def spreadcats(df):
    cut = sum(map(str.startswith,df.columns,it.repeat("cat")))
    data = df.to_numpy()
    cats,idx = np.unique(data[:,-cut:],axis=0,return_inverse=True)
    m,n,k,_ = data.shape + cats.shape
    out = np.zeros((k,cut+(n-cut)*m),int)
    out[:,:cut] = cats
    out[:,cut:].reshape(k,m,n-cut)[idx,np.arange(m)] = data[:,:-cut]
    return out


x = np.random.randint([1,1,1,0,0],[10,10,10,3,2],(10,5))
df = pd.DataFrame(x,columns=[f"data{i}" for i in "123"] + ["cat1","cat2"])

print(df)
print(spreadcats(df))

sample 运行:

   data1  data2  data3  cat1  cat2
0      9      5      1     1     1
1      7      4      2     2     0
2      3      9      8     1     0
3      3      9      1     1     0
4      9      1      7     2     1
5      1      3      7     2     0
6      2      8      2     1     0
7      1      4      9     0     1
8      8      7      3     1     1
9      3      6      9     0     1
[[0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 4 9 0 0 0 3 6 9]
 [1 0 0 0 0 0 0 0 3 9 8 3 9 1 0 0 0 0 0 0 2 8 2 0 0 0 0 0 0 0 0 0]
 [1 1 9 5 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 8 7 3 0 0 0]
 [2 0 0 0 0 7 4 2 0 0 0 0 0 0 0 0 0 1 3 7 0 0 0 0 0 0 0 0 0 0 0 0]
 [2 1 0 0 0 0 0 0 0 0 0 0 0 0 9 1 7 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0]]