- c - 在位数组中找到第一个零
- linux - Unix 显示有关匹配两种模式之一的文件的信息
- 正则表达式替换多个文件
- linux - 隐藏来自 xtrace 的命令
我正在用 Python 创建一些带有字数统计的 numpy 数组:行是文档,列是字 X 的计数。如果我有很多零计数,人们建议在进一步处理这些时使用稀疏矩阵,例如在分类器中。将 numpy 数组与稀疏矩阵馈送到 Scikit 时 logistic regression classifier , 然而,它似乎并没有太大的区别。所以我想知道三件事:
a sparse matrix is a matrix in which most of the elements are zero
这是确定何时使用稀疏矩阵的合适方法吗格式 - 一旦 > 50 % 的值是零?或者它使以防万一有用吗?
非常感谢任何帮助!
最佳答案
scipy
稀疏矩阵包和 MATLAB 中的类似包基于从线性代数问题发展而来的思想,例如求解大型稀疏线性方程(例如有限差分和有限元实现)。因此,诸如矩阵乘积(numpy 数组的 点
乘积)和方程求解器之类的东西得到了很好的发展。
我的粗略经验是,稀疏 csr
矩阵乘积必须具有 1% 的稀疏度才能比等效的密集 dot
运算更快 - 换句话说,一个非零每 99 个零的值。 (但请参阅下面的测试)
但是人们也尝试使用稀疏矩阵来节省内存。但请记住,这样的矩阵必须存储 3 个值数组(至少以 coo
格式)。所以稀疏度必须小于 1/3 才能开始节省内存。显然,如果您首先构建密集数组并从中创建稀疏数组,则不会节省内存。
scipy
包实现了许多稀疏格式。 coo
格式最容易理解和构建。根据文档构建一个并查看其 .data
、.row
和 .col
属性(3 个一维数组)。
csr
和 csc
通常是从 coo
格式构建的,并稍微压缩了数据,使它们更难理解。但它们具有大部分数学功能。
索引 csr
格式也是可能的,尽管通常这比等效的密集矩阵/数组情况慢。其他操作,如更改值(尤其是从 0 到非零)、串联、增量增长等操作也较慢。
lil
(lists of lists)也很容易理解,最适合增量构建。 dok
实际上是一个字典子类。
一个关键点是稀疏矩阵仅限于 2d,并且在许多方面表现得像 np.matrix
类(尽管它不是子类)。
使用 scikit-learn
和 sparse
搜索其他问题可能是找出使用这些矩阵的优缺点的最佳方式。我已经回答了很多问题,但我比“学习”方面更了解“稀疏”方面。我认为它们很有用,但我的感觉是合适的并不总是最好的。任何定制都在 learn
端。到目前为止,sparse
包还没有针对这个应用程序进行优化。
我刚刚尝试了一些矩阵乘积测试,使用 sparse.random
方法创建具有指定稀疏度的稀疏矩阵。稀疏矩阵乘法的表现比我预期的要好。
In [251]: M=sparse.random(1000,1000,.5)
In [252]: timeit M1=M*M
1 loops, best of 3: 2.78 s per loop
In [253]: timeit Ma=M.toarray(); M2=Ma.dot(Ma)
1 loops, best of 3: 4.28 s per loop
这是一个尺寸问题;对于较小的矩阵,密集的 dot
更快
In [255]: M=sparse.random(100,100,.5)
In [256]: timeit M1=M*M
100 loops, best of 3: 3.24 ms per loop
In [257]: timeit Ma=M.toarray(); M2=Ma.dot(Ma)
1000 loops, best of 3: 1.44 ms per loop
但是比较索引
In [268]: timeit M.tocsr()[500,500]
10 loops, best of 3: 86.4 ms per loop
In [269]: timeit Ma[500,500]
1000000 loops, best of 3: 318 ns per loop
In [270]: timeit Ma=M.toarray();Ma[500,500]
10 loops, best of 3: 23.6 ms per loop
关于python - 使用稀疏矩阵与 numpy 数组,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/36969886/
我在服务器上 checkout 了一个 git 存储库。该存储库过去在根目录下包含所有相关文件,但我必须进行一些更改,现在我有两个文件夹,src 和 dist,我想跟踪这两个文件夹. 我遇到的问题是,
我很难弄清楚 VkDescriptorSetLayoutBinding::binding 的任何用例,这是结构: struct VkDescriptorSetLayoutBinding { u
Python中能否有效获取稀疏向量的范数? 我尝试了以下方法: from scipy import sparse from numpy.linalg import norm vector1 = spa
我正在尝试找出为什么这段代码不对数组进行排序... 任意向量。 x = array([[3, 2, 4, 5, 7, 4, 3, 4, 3, 3, 1, 4, 6, 3, 2, 4, 3, 2]])
有谁知道如何压缩(编码)稀疏 vector ?稀疏 vector 表示有许多“0”的 1xN 矩阵。 例如 10000000000001110000000000000000100000000 上面是稀
我使用稀疏高斯过程进行 Rasmussen 回归。[http://www.tsc.uc3m.es/~miguel/downloads.php][1] 预测平均值的语法是: [~, mu_1, ~, ~
我在朴素贝叶斯分类器中使用 Mahout API。其中一个功能是 SparseVectorsFromSequenceFiles虽然我已经尝试过旧的谷歌搜索,但我仍然不明白什么是稀疏 vector 。最
我正在尝试将JavaScript稀疏数组映射到C#表示形式。 建议这样做的方法是什么? 它正在考虑使用一个字典,该字典包含在原始数组中包含值的原始词列表。 还有其他想法吗? 谢谢! 最佳答案 注意 针
如果我想求解一个完整上三角系统,我可以调用linsolve(A,b,'UT')。然而,这目前不支持稀疏矩阵。我该如何克服这个问题? 最佳答案 UT 和 LT 系统是最容易解决的系统之一。读一读on t
我有一个带有 MultiIndex 的 Pandas DataFrame。 MultiIndex 的值在 (0,0) 到 (1000,1000) 范围内,该列有两个字段 p 和 q. 但是,DataF
我目前正在实现一个小型有限元模拟。使用 Python/Numpy,我正在寻找一种有效的方法来创建全局刚度矩阵: 1)我认为应该使用coo_matrix()从较小的单元刚度矩阵创建稀疏矩阵。但是,我可以
a , b是 1D numpy ndarray与整数数据类型具有相同的大小。 C是一个 2D scipy.sparse.lil_matrix . 如果索引[a, b]包含重复索引,C[a, b] +=
我有一个大的、连通的、稀疏的邻接表形式的图。我想找到两个尽可能远的顶点,即 diameter of the graph以及实现它的两个顶点。 对于不同的应用程序,我对无向和有向情况下的这个问题都很感兴
上下文:我将 Eigen 用于人工神经网络,其中典型维度为每层约 1000 个节点。所以大部分操作是将大小为 ~(1000,1000) 的矩阵 M 与大小为 1000 的 vector 或一批 B v
我有一些大小合适的矩阵 (2000*2000),我希望在矩阵的元素中有符号表达式 - 即 .9**b + .8**b + .7**b ... 是一个元素的例子。矩阵非常稀疏。 我通过添加中间计算来创建
在 R 或 C++ 中是否有一种快速填充(稀疏)矩阵的方法: A, B, 0, 0, 0 C, A, B, 0, 0 0, C, A, B, 0 0, 0, C, A, B 0, 0, 0, C, A
我有一个大的稀疏 numpy/scipy 矩阵,其中每一行对应于高维空间中的一个点。我想进行以下类型的查询: 给定一个点P(矩阵中的一行)和一个距离epsilon,找到与epsilon距离最大的所有点
假设我有一个 scipy.sparse.csr_matrix 代表下面的值 [[0 0 1 2 0 3 0 4] [1 0 0 2 0 3 4 0]] 我想就地计算非零值的累积和,这会将数组更改为:
我了解如何在 Git 中配置稀疏 checkout ,但我想知道是否可以消除前导目录。例如,假设我有一个 Git 存储库,其文件夹结构如下: 文件夹1/foo 文件夹2/foo/bar/stuff 文
根据 this thread , Git 中的排除 sparse-checkout feature应该实现。是吗? 假设我有以下结构: papers/ papers/... presentations
我是一名优秀的程序员,十分优秀!