algorithm - R 中存在哪些并行算法，处理大数据

Question

我正在尝试找出 CRAN/github/R-Forge 上的 R 或 R 包中存在哪些统计/数据挖掘算法，这些算法可以在一台服务器上并行处理大型数据集，也可以按顺序处理，而不会遇到问题内存问题或同时在多台机器上工作。这是为了评估我是否可以轻松地将它们移植到 ff/ffbase 中，例如 ffbase::bigglm.ffdf。

我想将它们分成 3 个部分:

1. 并行更新或处理参数估计的算法

   • 铅弹 ( https://github.com/lianos/buckshot )

   • lm.fit @大数据编程 ( https://github.com/RBigData )

2. 按顺序工作的算法(在 R 中获取数据但只使用 1 个进程并且只有 1 个进程更新参数)

   • bigglm ( http://cran.r-project.org/web/packages/biglm/index.html )

   • 复合泊松线性模型 ( http://cran.r-project.org/web/packages/cplm/index.html )

   • Kmeans @ biganalytics ( http://cran.r-project.org/web/packages/biganalytics/index.html )

3. 处理部分数据

   • 分布式文本处理(http://www.jstatsoft.org/v51/i05/paper)

我想排除简单的并行化，例如通过超参数优化。交叉验证。还有其他指向这些模型/优化器或算法的指针吗？也许贝叶斯？也许是一个名为 RGraphlab (http://graphlab.org/) 的包？

Answer 1

你读过 High Performance Computing 了吗？ CRAN 上的任务 View ？

它涵盖了您提到的许多要点，并概述了这些领域的软件包。