r - 从data.table到eval的函数创建表达式

Question

给定data.table dat:

dat <- data.table(x_one=1:10, x_two=1:10, y_one=1:10, y_two=1:10) 

我想要一个函数，在给定两个类似行的“根”名称的情况下，在它们之间创建一个表达式，例如 x_one - x_two。

myfun <- function(name) {
  one <- paste0(name, '_one')
  two <- paste0(name, '_two')

  parse(text=paste(one, '-', two))
}

现在，仅使用一个根名即可按预期工作并产生 vector 。

dat[, eval(myfun('x')),]

[1] 0 0 0 0 0 0 0 0 0 0

但是，尝试使用 list技术为该输出分配名称将失败:

dat[, list(x_out = eval(myfun('x'))),]

Error in eval(expr, envir, enclos) : object 'x_one' not found

我可以通过添加一个 with(dat, ...)来“解决”这个问题，但是看起来似乎不是data.table-ish

dat[, list(x_out = with(dat, eval(myfun('x'))),
           y_out = with(dat, eval(myfun('y')))),]

    x_out y_out
 1:     0     0
 2:     0     0
 3:     0     0
 4:     0     0
 5:     0     0
 6:     0     0
 7:     0     0
 8:     0     0
 9:     0     0
10:     0     0

如果我想要上面的输出，生成和评估这些表达式的正确方法是什么？

如果有帮助，下面是 sessionInfo()输出。我记得能够做到这一点，或接近它，但是它已经有一段时间了，自从...以来 data.table已更新。

R version 2.15.1 (2012-06-22)

Platform: x86_64-pc-linux-gnu (64-bit)

locale:
 [1] LC_CTYPE=en_US.UTF-8       LC_NUMERIC=C               LC_TIME=en_US.UTF-8        LC_COLLATE=en_US.UTF-8    
 [5] LC_MONETARY=en_US.UTF-8    LC_MESSAGES=en_US.UTF-8    LC_PAPER=C                 LC_NAME=C                 
 [9] LC_ADDRESS=C               LC_TELEPHONE=C             LC_MEASUREMENT=en_US.UTF-8 LC_IDENTIFICATION=C       

attached base packages:
[1] graphics  grDevices utils     datasets  stats     grid      methods   base     

other attached packages:
 [1] Cairo_1.5-1      zoo_1.7-7        stringr_0.6.1    doMC_1.2.5       multicore_0.1-7  iterators_1.0.6  foreach_1.4.0   
 [8] data.table_1.8.2 circular_0.4-3   boot_1.3-5       ggplot2_0.9.1    reshape2_1.2.1   plyr_1.7.1      

loaded via a namespace (and not attached):
 [1] codetools_0.2-8    colorspace_1.1-1   dichromat_1.2-4    digest_0.5.2       labeling_0.1       lattice_0.20-6    
 [7] MASS_7.3-20        memoise_0.1        munsell_0.3        proto_0.3-9.2      RColorBrewer_1.0-5 scales_0.2.1      
[13] tools_2.15.1      

Answer 1

一种解决方案是将list(...)放入函数输出中。

我倾向于使用as.quoted，从@hadley在.()包中实现plyr的方式中窃取。

library(data.table)
library(plyr)
dat <- data.table(x_one=1:10, x_two=1:10, y_one=1:10, y_two=1:10) 
myfun <- function(name) {
  one <- paste0(name, '_one')
  two <- paste0(name, '_two')
  out <- paste0(name,'_out')
 as.quoted(paste('list(',out, '=',one, '-', two,')'))[[1]]
}


dat[, eval(myfun('x')),]

#    x_out
# 1:     0
# 2:     0
# 3:     0
# 4:     0
# 5:     0
# 6:     0
# 7:     0
# 8:     0
# 9:     0
#10:     0

要一次执行两列，您可以调整通话

myfun <- function(name) {
  one <- paste0(name, '_one')
  two <- paste0(name, '_two')
  out <- paste0(name,'_out')
  calls <- paste(paste(out, '=', one, '-',two), collapse = ',')


 as.quoted(paste('list(', calls,')'))[[1]]
}


dat[, eval(myfun(c('x','y'))),]

#   x_out y_out
# 1:     0     0
# 2:     0     0
# 3:     0     0
# 4:     0     0
# 5:     0     0
# 6:     0     0
# 7:     0     0
# 8:     0     0
# 9:     0     0
# 0:     0     0

至于原因.....

在此解决方案中，对 list(..)的整个调用都在作为数据表的parent.frame中进行评估。
[.data.table中的相关代码是

if (missing(j)) stop("logical error, j missing")
jsub = substitute(j)
if (is.null(jsub)) return(NULL)
jsubl = as.list.default(jsub)
if (identical(jsubl[[1L]],quote(eval))) {
    jsub = eval(jsubl[[2L]],parent.frame())
    if (is.expression(jsub)) jsub = jsub[[1L]]
}

如果(就您而言)

j = list(xout = eval(myfun('x'))) 

##then

jsub <- substitute(j) 

是

 #  list(xout = eval(myfun("x")))

和

as.list.default(jsub)
## [[1]]
## list
## 
## $xout
## eval(myfun("x"))

所以 jsubl[[1L]]是 list， jsubl[[2L]]是 eval(myfun("x"))
因此 data.table尚未找到对 eval的调用，因此无法对其进行适当处理。

这将起作用，并在正确的数据内强制进行第二次评估。

# using OP myfun
dat[,list(xout =eval(myfun('x'), dat))]

一样的方法

eval(parse(text = 'x_one'),dat)
# [1]  1  2  3  4  5  6  7  8  9 10

起作用但是

 eval(eval(parse(text = 'x_one')), dat)

才不是

编辑10/4/13

尽管将 .SD用作环境可能更安全(但速度较慢)，因为这样对 i或 by也会很健壮，例如

dat[,list(xout =eval(myfun('x'), .SD))]

从马修编辑:

+10以上。我自己不能更好地解释它。更进一步，我有时要做的是构造整个data.table查询，然后对其进行 eval。这样有时可能会更健壮。我认为它就像SQL；即，我们经常构造一条动态SQL语句，该语句将发送到SQL服务器以执行。在进行调试时，有时也更容易查看构造的查询并在浏览器提示符下运行它。但是，有时这样的查询会很长，因此，通过不重新计算其他组件，可以将 eval传递给 i， j或 by可以更有效。像往常一样，有很多方法可以给猫加皮。

考虑用 eval编码整个查询的细微原因包括:

分组快速的一个原因是它首先检查j表达式。如果是list，它将删除名称，但会记住它们。然后，eval为每个组提供一个未命名的列表，然后一次恢复名称，最后返回最终结果。其他方法之所以缓慢的一个原因是，对于每一组，一次又一次地重新创建相同的列名 vector 。但是，定义的j越复杂(例如，如果表达式不是精确地以list开头)，则在内部编写检查逻辑的难度就越大。这个 Realm 有很多测试；例如，与eval结合使用，如果名称删除无效，则详细报告。但是，由于这个原因，构造一个“简单”查询(完整查询)和eval可能会更快，更可靠。

在v1.8.2中，现在对j进行了优化:options(datatable.optimize=Inf)。到目前为止，这将检查j并对其进行修改以优化mean和lapply(.SD,...)习惯用法。这造成了数量级上的差异，并且意味着用户需要知道的东西更少了(例如，现在一些Wiki点已经消失了)。我们可以做更多的事情；例如，如果DT[a==10] [2014年9月更新-现在在v1.9.3中实现]，可以将DT[J(10)]自动优化为key(DT)[1]=="a"。但是同样，如果不是DT[,mean(a),by=b](例如DT[,list(x=eval(expr)),by=b]包含对expr的调用)而不是mean，则内部优化将很难在内部进行编码。因此，整个查询的eval可以与datatable.optimize一起使用。启用冗长功能可报告其正在执行的操作，并且可以根据需要关闭优化功能。例如，测试其产生的速度差异。

根据注释，已添加FR＃2183:“将DT范围内的j = list(xout = eval(...))的eval更改为eval”。感谢您的强调。这就是复杂的 j的类型，我的意思是 eval嵌套在表达式中。但是，如果 j以 eval开头，则这要简单得多，并且已经进行了编码(如上所示)和测试，因此应该对其进行优化。

如果有一个解决方法，那就是:在使用涉及 DT[...,verbose=TRUE]的动态查询时，请使用 options(datatable.verbose=TRUE)或 data.table来检查 eval仍然有效地工作。