r - 如何更改 sqlite 在 Ubuntu Linux R 上创建 etilqs 文件的临时文件夹？

Question

我在 Ubuntu 上的 R 中运行 sqldf 以从具有千兆字节数据的大表中选择某些 ID，并且该过程根据 inotifywait 监视文件更改在/var/tmp 下创建临时 etilqs 文件。然而，我的/var/tmp 在一个小磁盘上，这偶尔会导致 R 出错。我找到了一个 thread关于如何在 Windows 上更改 sqlite 的临时文件夹位置，但我不知道如何让它在 Linux 下工作。

library(sqldf)
customer_extr <- sqldf("select b.*, a.year, a.name from product as b left join customer as a on a.ID = b.ID", dbname = "/home/userName/customer.db")

在我看来，sqlite 按以下顺序搜索临时文件存储位置的目录(不是我可以通过选择 tmpdir= 选择在何处创建文件的 tempfile()):

1. PRAGMA temp_store_directory 或 sqlite3_temp_directory 全局变量设置的目录
2. SQLITE_TMPDIR 环境变量
3. TMPDIR 环境变量
4. /变量/tmp
5. /usr/tmp
6. /tmp
7. 当前工作目录(“.”)

我尝试了几个选项，但似乎都不起作用:

1. 设置临时存储目录:

   con <- dbConnect(dbDriver("SQLite"), dbname = "/home/userName/customer.db")
   dbGetQuery(con, "PRAGMA temp_store_directory = '/mnt/tmp'")
   

   但这会出错:

   Error in rsqlite_send_query(conn@ptr, statement) : basic_string::resize
   

   目前检查后未设置temp_store_directory

   Sys.getenv('temp_store_directory')
   

2. 在运行 R 之前，我将环境变量设置为所需的临时文件夹:/mnt/tmp:

   export SQLITE_TMPDIR=/mnt/tmp
   export TMPDIR=/mnt/tmp
   

   我已验证这已成功设置

   echo $SQLITE_TMPDIR 
   echo $TMPDIR 
   

   在 Linux 下，

   Sys.getenv('SQLITE_TMPDIR') 
   Sys.getenv('TMPDIR') 
   

   在 R 中。

   但是，我的 sqldf 步骤仍然将 etilqs 文件写入/var/tmp。

3. 我试过跑

   dbGetQuery(con, "PRAGMA temp_store = 2") 
   

   指示sqlite在内存中保存临时文件。但是，它仍在将 etilqs 文件写入/var/tmp。

4. 我考虑过为/var/tmp 创建一个指向/mnt/tmp 的符号链接(symbolic link)，但要做到这一点，我想我必须先删除文件夹/mnt/tmp。这并不理想，因为它是一个共享的 Linux 服务器，并且/mnt/tmp 的磁盘有时会被卸载。我不确定这是否会给其他应用程序和用户带来任何麻烦。

我不知道如何检查/更改 R 中的 sqlite3_temp_directory 全局变量。

这是我的 session 信息:

> sessionInfo()
R version 3.3.2 (2016-10-31)
Platform: x86_64-pc-linux-gnu (64-bit)
Running under: Ubuntu 14.04.5 LTS

locale:
 [1] LC_CTYPE=en_US.UTF-8       LC_NUMERIC=C
 [3] LC_TIME=en_US.UTF-8        LC_COLLATE=en_US.UTF-8
 [5] LC_MONETARY=en_US.UTF-8    LC_MESSAGES=en_US.UTF-8
 [7] LC_PAPER=en_US.UTF-8       LC_NAME=C
 [9] LC_ADDRESS=C               LC_TELEPHONE=C
 [11] LC_MEASUREMENT=en_US.UTF-8 LC_IDENTIFICATION=C

attached base packages:
[1] stats     graphics  grDevices utils     datasets  methods   base

other attached packages:
[1] sqldf_0.4-10 RSQLite_1.1  gsubfn_0.6-6 proto_1.0.0

loaded via a namespace (and not attached):
[1] DBI_0.5-1     memoise_1.0.0 Rcpp_0.12.8   digest_0.6.10 chron_2.3-47

我可以尝试将我的操作系统磁盘升级到更大的驱动器，但是没有办法告诉 Linux 下 R 中的 sqlite 将临时文件写入其他地方吗？任何建议将不胜感激!

Answer 1

你可以让 R 使用不同的临时目录，它遵循环境变量的几个设置:

edd@max:~$ Rscript -e 'print(tempdir())'              # default
[1] "/tmp/RtmpUdPCFL"
edd@max:~$ TMPDIR="." Rscript -e 'print(tempdir())'   # overridden
[1] "./RtmpsJk2lP"
edd@max:~$ 

我们将不得不查看 RSQLite 和/或 sqldf 包的源代码，看看它们是使用自己的设置，还是从 R 中获取。如果是后者，我怀疑至少 sqldf 那么你有一种方式。

但是请记住在启动 R 之前设置 TMPDIR(或类似的)。