r - 使用 sqldf() 选择匹配一百万个项目的行

Question

这是对此处提供的有关使用 sqldf() 的答案的跟进。

https://stackoverflow.com/a/1820610

在我的特殊情况下，我有一个超过 1.1 亿行的制表符分隔文件。我想选择与 460 万个标签 ID 匹配的行。

在以下代码中，标签 ID 位于 tag.query
然而，虽然该示例适用于较小的查询，但它无法处理上述较大的示​​例:

sql.query <- paste('select * from f where v2 in (', tag.query, ')', sep='')
selected.df <- sqldf(sql.query, dbname = tempfile(), file.format = list(header = F, row.names = F, sep="\t", skip=line.where.header.is))

关于替代方法的任何建议？

Answer 1

如果问题是速度，请尝试在 v2 上创建索引.参见 sqldf home page 上的示例 4i .如果仍然不够快，您也可以尝试使用不同的数据库。除了默认的 SQLite，sqldf 还支持 H2、MySQL 和 PostgreSQL。