mysql - 如何在不授予 INSERT 权限的情况下在 dplyr 中创建 left_join(..., copy=TRUE)

Question

我们需要将一个数据库表与一个 excel 文件的内容连接起来。使用 dplyr left_join 很简单，但需要在连接中设置 copy=TRUE，因为数据不是来自同一源.这反过来意味着代码将仅在数据库用户具有 INSERT 权限时运行，以便 left_join 可以在/tmp 文件夹中创建临时表。

有没有办法在不授予 INSERT 权限的情况下执行 copy=TRUE left_join？访问数据进行分析的数据库用户实际上应该只是一个读者。

如果未授予插入权限，则会出现如下错误:

Error in .local(conn, statement, ...) : 
  could not run statement: INSERT command denied to user 
  'reader'@'192.168.135.1' for table 'utiexriryc'

将出现(每次连接时使用不同的随机表名称)。

一个简短的可重现示例是困难的，因为它需要一个数据库连接(在本例中是通过 src_mysql() 连接到 mysql)和一个 excel 文件(在本例中是用 readxl 读取的) >).连接看起来像:

df.biozones <- db.sites %>% 
  left_join(ef.join_site_ids, by=c("site_id"="id"), copy=TRUE) %>% 
  collect()

其中 db.sites 是一个 mysql 数据库表，ef.join_site_ids 是一个使用 readxl 读取的 excel 电子表格中的 data.frame。

有没有办法在 dplyr 中执行上述操作并避免为读取数据的用户授予 INSERT 权限？

Answer 1

虽然没有办法按照我直接要求的去做，正如@hadley 所说，但是有一种不同的方式来看待这个问题。我花了一些时间才明白 dplyr 将每个连接视为不同的源(或简称为 src)。 src 上始终存在，它是内存中对象的集合。

所以在我的问题中，我实际上是在处理三个来源:

1. 内存中的对象
2. 数据库_1
3. 数据库_2

这三个中的任何一个之间的任何连接都需要 dplyr 的权限来创建临时表并插入其中。这三个中任何一个的任何连接都不是问题。因此，当您无法获得对数据库的额外权限时，(至少)有三种可能的方法来处理这个问题。

<强>1。将所有内容加载到内存中

如果您将所有需要的对象从两个数据库中获取到内存中，那么您将把它们放入一个共享的 src 中，并且能够对它们进行任何连接。 Dplyr 提供了 collect() 函数来执行此操作:

db_table_of_interest <- tbl(Database_1, "table_of_interest")
df_table_of_interest <- collect(db_table_of_interest).

您实际上会将表格变成本地数据框。您将需要对所有感兴趣的数据库中的所有感兴趣的表执行此操作。只要您有足够的 RAM 来存放您正在阅读的所有数据，它就可以正常工作。

<强>2。在数据库之间复制标识符

如果(如我们的情况)您需要在两个具有相同站点但 ID 不同的数据库之间加入记录标识符(如站点或样本 ID)，那么最简单的方法是将两个表中的 ID 加倍数据库。因此，与其使用在其中列出每个数据库中每个站点的所有 ID 并设置匹配项的外部工作表，不如在每个数据库的 site_table 中添加一列并引用另一列。

只要不需要用实际数据建立连接表，就可以了。例如，如果您需要读取按物种分类的站点和按环境分类的站点表，其中物种和环境数据存储在单独的数据库中，并且每个站点具有不同的 ID。

如果您确实需要连接表，那么至少您可以在执行 collect() 并读取内存中的所有内容之前在两个数据库中进行预选。当有大量数据要读取时，这将节省您的内存需求。

<强>3。将所有内容复制到一个分析数据库中

如果由于某种原因无法使用更多内存，那么理论上您可以先将所有数据复制到一个数据库中。我无法想象这在任何情况下都是一个可行的选择，除了只有几个感兴趣的表，以便将它们合并到一个新的联合数据库中是可行的。也许在数据集非常大且不变的情况下。

如果我在此列表中遗漏了一个选项，我很乐意知道您可能找到了哪些其他解决方案。