python - scipy 稀疏矩阵上的 sklearn train_test_split 给出了错误的结果

Question

我有一个形状为 (346679, 86) 的稀疏矩阵。

<346679x86 sparse matrix of type '<type 'numpy.int8'>' with 470018 stored elements in COOrdinate format>

为了训练和评估我的模型，我需要将它分别分成训练集和测试集。

from sklearn.model_selection import train_test_split
x_train, x_test = train_test_split(sparse_matrix, test_size=0.2, random_state=11)

完成此操作后，我发现 x_train 和 x_test 发生了变化，即一些整行变为 0。我使用以下代码检查了原始矩阵中具有零非零值的行的出现情况:

def get_zero_rows(sparse_matrix):
    sparse_matrix = sparse_matrix.tocsr()
    count = 0
    for index, each in enumerate(sparse_matrix):
        if each.getnnz() < 1:
            count += 1
    return count

它为原始矩阵返回 0，但为拆分矩阵返回非零值。我不明白为什么会这样？

Answer 1

根据 train_test_split 文档中的示例构建:

In [895]: X, y = sparse.random(50,10,.2,'csr'), range(50)
In [896]: X_train, X_test, y_train, y_test = train_test_split(
     ...: ...     X, y, test_size=0.33, random_state=42)
     ...:     
In [897]: X
Out[897]: 
<50x10 sparse matrix of type '<class 'numpy.float64'>'
    with 100 stored elements in Compressed Sparse Row format>
In [898]: X_train
Out[898]: 
<33x10 sparse matrix of type '<class 'numpy.float64'>'
    with 68 stored elements in Compressed Sparse Row format>
In [899]: X_test
Out[899]: 
<17x10 sparse matrix of type '<class 'numpy.float64'>'
    with 32 stored elements in Compressed Sparse Row format>

非零总数没有变化

In [900]: np.count_nonzero(X.sum(1)==0)
Out[900]: 4
In [901]: np.count_nonzero(X_test.sum(1)==0)
Out[901]: 2
In [902]: np.count_nonzero(X_train.sum(1)==0)
Out[902]: 2

0 行总和也保持不变。

当我尝试同样的方法时

X = (sparse.random(50,10,.2,'csr')*10).astype('int8') 

0 行计数保持一致，但我得到的 nnz 元素更少。 int8 的稀疏数学运算可能会出现问题。标准 int 或 float dtypes 可能更安全。

稀疏 使用矩阵乘法(使用 extractor 矩阵)的行索引，我相信它是为 32/64 位数据类型编译的。

---

我看到的“问题”是我如何构建整数稀疏矩阵的产物。我没有正确地消除零。

In [20]: from scipy import sparse
In [21]: M = sparse.random(100,10,.2,'csr')
In [22]: M
Out[22]: 
<100x10 sparse matrix of type '<class 'numpy.float64'>'
    with 200 stored elements in Compressed Sparse Row format>
In [23]: idx=np.arange(100)
In [24]: M[idx,:]
Out[24]: 
<100x10 sparse matrix of type '<class 'numpy.float64'>'
    with 200 stored elements in Compressed Sparse Row format>

通过缩放 float 生成一个随机整数矩阵:

In [25]: M1 = (M*10).astype(int)
In [26]: M1
Out[26]: 
<100x10 sparse matrix of type '<class 'numpy.int64'>'
    with 200 stored elements in Compressed Sparse Row format>

索引减少了元素的数量:

In [27]: M1[idx,:]
Out[27]: 
<100x10 sparse matrix of type '<class 'numpy.int64'>'
    with 183 stored elements in Compressed Sparse Row format>

但这与 count_nonzero 找到的数字相同。如果我应用 elimnate_zeros，我会得到什么:

In [29]: M1.count_nonzero()
Out[29]: 183
In [30]: M1.eliminate_zeros()
In [31]: M1
Out[31]: 
<100x10 sparse matrix of type '<class 'numpy.int64'>'
    with 183 stored elements in Compressed Sparse Row format>
In [32]: M1[idx,:]
Out[32]: 
<100x10 sparse matrix of type '<class 'numpy.int64'>'
    with 183 stored elements in Compressed Sparse Row format>

使用这个缩放构造函数，像 0.04 这样的浮点值变为 0，但在我们明确这样做之前不会从稀疏性中删除。