- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
与STATS.se交叉发布,因为此问题可能跨越两个STATs.se/SO
https://stats.stackexchange.com/questions/17712/parallelize-solve-for-ax-b
我从矩阵包中使用spMatrix函数创建了一些非常大的稀疏矩阵。
使用resolve()函数可解决我的Ax = b问题,但是需要很长时间。几天。
我注意到http://cran.r-project.org/web/packages/RScaLAPACK/RScaLAPACK.pdf
似乎具有可以并行化求解功能的功能,但是,可能需要花费数周的时间才能在此特定服务器上安装新软件包。
服务器已经安装了snow软件包。
所以
有没有一种方法可以使用雪来并行化此操作?
如果没有,还有其他方法可以加快此类操作的速度吗?
还有其他软件包,例如RScaLAPACK?我在RScaLAPACK上的搜索似乎表明人们对此有很多疑问。
谢谢。
[编辑]-其他详细信息
矩阵约为370,000 x 370,000。
我正在使用它来解决alpha中心性http://en.wikipedia.org/wiki/Alpha_centrality。我最初是在igraph包中使用alpha中心性函数,但是它将使R崩溃。
更多细节
这是在一台具有12个内核和96个内存的机器上(我相信)
它是沿着论文引文关系的有向图。
计算条件数和密度需要一段时间。将在可用时发布。
将在stat.SE上交叉发布,并将添加链接回到此处
最佳答案
[更新1:对于刚刚适应的用户:最初的问题涉及并行计算以解决回归问题;鉴于根本问题与alpha中心性有关,因此某些问题(例如装袋和正则回归)可能无法立即应用,尽管这导致了进一步的统计讨论。
从基础设施到统计,这里有很多问题需要解决。
基础设施
[已更新-另请参见下面的更新2。]
关于并行线性求解器,可以用支持多线程计算的库(例如ATLAS,Goto BLAS,Intel的MKL或AMD的ACML)替换R的BLAS / LAPACK库。我个人使用AMD版本。 ATLAS令人恼火,因为一个人在编译时而不是在运行时确定内核的数量。 MKL是商业性的。 Goto不再得到很好的支持,但通常是最快的,但仅有一点点。它已获得BSD许可。您还可以查看Revolution Analytics的R,我认为它包括Intel库。
因此,您可以通过简单的后端更改立即开始使用所有内核。这可以使您的速度提高12倍(内核数量的b / c),或者可能更高(实现更好的b / c)。如果这样可以将时间缩短到可接受的范围内,那么您就完成了。 :)但是,更改统计方法可能会更好。
您没有提到可用的RAM数量(或每个内核或机器的RAM分配),但是稀疏求解器在管理RAM访问方面应该非常聪明,不要试图一次消耗太多数据。但是,如果它在一台机器上并且天真地完成工作,那么您可能会遇到很多交换。在这种情况下,请查看诸如biglm
,bigmemory
,ff
之类的软件包。前者解决在有限内存中求解线性方程式(或GLM)的问题,后两个解决共享内存(即内存映射和基于文件的存储)的问题,这对于非常大的对象非常方便。在at the CRAN Task View for HPC中可以找到更多软件包(例如speedglm
等)。
半统计半计算问题是要解决矩阵的可视化问题。尝试按每行和每列的支持进行排序(如果图形是无向的,则相同;否则,执行另一项,或者尝试使用诸如反向Cuthill-McKee的重新排序方法),然后使用image()
绘制矩阵。有趣的是,看看它是如何成形的,并且会影响人们可以尝试的计算和统计方法。
另一个建议:您可以迁移到Amazon的EC2吗?它价格便宜,您可以管理自己的安装。如果没有其他问题,您可以对所需的东西进行原型制作,并在测试了加速后,将其内部迁移。 JD Long有一个名为segue
的程序包,显然可以简化在Amazon Elastic MapReduce基础结构上分配作业的工作。如果您具有96GB的RAM和12个内核,则无需迁移到EC2-分发它可以加快速度,但这不是问题。仅在这台机器上获得100%的利用率将是一个很好的改进。
统计
接下来是多个简单的统计问题:
装袋您可以考虑对数据的子集进行采样以适合模型,然后装袋模型。这可以使您加速。这样一来,您就可以将计算分布在尽可能多的计算机和内核上。您可以将SNOW与foreach
一起使用。
调节glmnet
支持稀疏矩阵,并且速度非常快。您应该进行测试。请注意条件不佳的矩阵和非常小的lambda值。
排名:您的矩阵稀疏:它们的等级是否完整?如果不是,那可能就是您面临的问题的一部分。当矩阵是奇异的或接近奇异时(检查估计的条件数,或至少看一下第一个和第N个特征值的比较-如果下降很大,则很麻烦-您可能会检查eval1与ev2。 ..,ev10,...)。同样,如果矩阵几乎是奇异的,则需要回到类似glmnet
的位置,以缩小变量是共线的或具有非常低的支持度。
绑定可以减少矩阵的带宽吗?如果您可以阻止对角线化,那就太好了,但是您可能会有集团和多个集团的成员。如果可以修剪关系最差的成员,则可以估计它们的alpha中心为同一团体中的最小值的上限。 R中有一些软件包适合这种情况(请查看Reverse Cuthill-McKee;或者只是看一下如何将其转换为矩形,通常与集团或较小的团体有关)。如果您有多个断开连接的组件,则一定要将数据分离到单独的矩阵中。
替代方案您是否已加入Alpha Centrality?可能存在其他度量具有单调相关性(即具有较高的秩相关性),且具有相同的值,可以更便宜地计算出或至少非常有效地实现相同的值。如果这些方法行得通,那么您的分析将花费更少的精力。我有一些想法,但是SO并不是真正进行讨论的地方。
为了获得更多的统计数据,应在stats.stackexchange.com, Cross-Validated上进行适当的问答。
更新2:我回答的速度太快了,从长远的角度来看并没有解决这个问题。如果您打算长期对此类系统进行研究,则应考虑其他更适合您的数据和计算基础架构类型的求解器。求解器和预处理器的选项的Here is a very nice directory。似乎其中不包含IBM's "Watson" solver suite。尽管安装软件可能需要数周的时间,但是如果您有很好的HPC管理员,则很有可能已经安装了其中一个软件包。
另外,请记住,可以将R软件包安装到用户目录-您无需在常规目录中安装软件包。如果您需要以用户以外的身份执行某些操作,则还可以将程序包下载到临时空间或临时空间(如果您仅在1个R实例中运行,但使用多个内核,请签出tempdir
)。
关于r - 为Ax = b并行求解Solve()吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/7936660/
我正在从 Stata 迁移到 R(plm 包),以便进行面板模型计量经济学。在 Stata 中,面板模型(例如随机效应)通常报告组内、组间和整体 R 平方。 I have found plm 随机效应
关闭。这个问题不符合Stack Overflow guidelines .它目前不接受答案。 想改进这个问题?将问题更新为 on-topic对于堆栈溢出。 6年前关闭。 Improve this qu
我想要求用户输入整数值列表。用户可以输入单个值或一组多个值,如 1 2 3(spcae 或逗号分隔)然后使用输入的数据进行进一步计算。 我正在使用下面的代码 EXP <- as.integer(rea
当 R 使用分类变量执行回归时,它实际上是虚拟编码。也就是说,省略了一个级别作为基础或引用,并且回归公式包括所有其他级别的虚拟变量。但是,R 选择了哪一个作为引用,以及我如何影响这个选择? 具有四个级
这个问题基本上是我之前问过的问题的延伸:How to only print (adjusted) R-squared of regression model? 我想建立一个线性回归模型来预测具有 15
我在一台安装了多个软件包的 Linux 计算机上安装了 R。现在我正在另一台 Linux 计算机上设置 R。从他们的存储库安装 R 很容易,但我将不得不使用 安装许多包 install.package
我正在阅读 Hadley 的高级 R 编程,当它讨论字符的内存大小时,它说: R has a global string pool. This means that each unique strin
我们可以将 Shiny 代码写在两个单独的文件中,"ui.R"和 "server.R" , 或者我们可以将两个模块写入一个文件 "app.R"并调用函数shinyApp() 这两种方法中的任何一种在性
我正在使用 R 通过 RGP 包进行遗传编程。环境创造了解决问题的功能。我想将这些函数保存在它们自己的 .R 源文件中。我这辈子都想不通怎么办。我尝试过的一种方法是: bf_str = print(b
假设我创建了一个函数“function.r”,在编辑该函数后我必须通过 source('function.r') 重新加载到我的全局环境中。无论如何,每次我进行编辑时,我是否可以避免将其重新加载到我的
例如,test.R 是一个单行文件: $ cat test.R # print('Hello, world!') 我们可以通过Rscript test.R 或R CMD BATCH test.R 来
我知道我可以使用 Rmd 来构建包插图,但想知道是否可以更具体地使用 R Notebooks 来制作包插图。如果是这样,我需要将 R Notebooks 编写为包小插图有什么不同吗?我正在使用最新版本
我正在考虑使用 R 包的共享库进行 R 的站点安装。 多台计算机将访问该库,以便每个人共享相同的设置。 问题是我注意到有时您无法更新包,因为另一个 R 实例正在锁定库。我不能要求每个人都关闭它的 R
我知道如何从命令行启动 R 并执行表达式(例如, R -e 'print("hello")' )或从文件中获取输入(例如, R -f filename.r )。但是,在这两种情况下,R 都会运行文件中
我正在尝试使我当前的项目可重现,因此我正在创建一个主文档(最终是一个 .rmd 文件),用于调用和执行其他几个文档。这样我自己和其他调查员只需要打开和运行一个文件。 当前设置分为三层:主文件、2 个读
关闭。这个问题不符合Stack Overflow guidelines .它目前不接受答案。 想改进这个问题?将问题更新为 on-topic对于堆栈溢出。 5年前关闭。 Improve this qu
我的 R 包中有以下描述文件 Package: blah Title: What the Package Does (one line, title case) Version: 0.0.0.9000
有没有办法更有效地编写以下语句?accel 是一个数据框。 accel[[2]]<- accel[[2]]-weighted.mean(accel[[2]]) accel[[3]]<- accel[[
例如,在尝试安装 R 包时 curl作为 usethis 的依赖项: * installing *source* package ‘curl’ ... ** package ‘curl’ succes
我想将一些软件作为一个包共享,但我的一些脚本似乎并不能很自然地作为函数运行。例如,考虑以下代码块,其中“raw.df”是一个包含离散和连续类型变量的数据框。函数“count.unique”和“squa
我是一名优秀的程序员,十分优秀!