mysql - 使用 MySQL 或 r，或两者？

Question

我有一个大型数据集，我想对数据的某些子集进行统计分析。

目前我认为这是一个两步过程:

1. 将数据导入 MySQL 数据库并使用 SELECT、JOIN、WHERE 等
2. 将结果数据导出，然后导入到r中，然后在r中进行统计。

我的问题是(是):这是一个高效的工作流程吗？可以在 r 中完全做到这一点吗？可以在 r 中模拟 MySQL select 语法吗？

Answer 1

在单台计算机的上下文中，完全在 R 中执行此操作会更有效。一旦您的数据大小超过计算机的 RAM，但您可以访问资源更多的某个地方的 MySQL 服务器，那么它可能是更容易使用您描述的两步程序。当然，在 SQL 中完成数据选择和聚合后，您想要用于统计的数据集将适合内存。

有几种工具可以在 R 中模拟 SQL:

• SQLDF 是最直接的，因为您可以在数据框架上使用 SQL。

• data.table 实现了更高效的数据框版本，并拥有自己的映射到 SQL 的语法，因此您可以执行选择、连接等操作。

• dplyr是一种用户友好版本的 data.table 包。

关于如何使用 dplyr 有一个很好的/概述 - http://cran.rstudio.com/web/packages/dplyr/vignettes/introduction.html