reshape 相当于R中的堆栈

Question

我有一个宽的zoo，每个人有两个变量(也许这是双宽的？)，我想转换成一个有两列的长面板(每个变量一列)这样我就可以运行面板回归(比如使用 plm 包)。

这对于 reshape 包中的 melt 和 cast 来说是微不足道的，但是由于这些数据的大小，我遇到了内存和速度问题.所以我想使用所有基本 R，但我很难使用基本 reshape 函数。从(双)宽 zoo 对象中，我可以使用 stack 获得“融化”的长数据帧，但我担心这会无声地失败并且更喜欢reshape 的精度，但语法不正确。

是否有 reshape 等同于 stack？我可以运行的唯一语法仍然给我留下一个(单)宽数据框，其中个人在列和变量行中？

下面是相关的代码块，以防我完全偏离基础，但突出显示的 block 是我卡住的地方，我想用 reshape 替换 stack .

# similar data
library(zoo)
dates <- seq(as.Date("2004-01-01"), by=7, len=52*10)
tickers <- letters
my.df <- data.frame(dates=as.Date(rep_len(dates, length(dates)*length(tickers))),
                    tickers=rep(tickers, each=length(dates)),
                    SVI=runif(length(dates)*length(tickers), min=0, max=100)) 
svi <- read.zoo(my.df, index.column="dates", split="tickers")
meansvi <- rollmean(svi, 52, align="right")
my.zoo <- merge(svi, meansvi)

############################################################
# I need help here -- what is the base::reshape equivalent?
############################################################

# reshape to long data frame
my.df2 <- as.data.frame(my.zoo)
my.df2$dates <- index(my.zoo)
my.df3 <- stack(my.df2, select=-dates)
my.df3$dates <- as.Date(rep_len(index(my.zoo), nrow(my.df3)))

# this is close, but still "single-wide"
my.bad <- reshape(my.df2, 
                  varying=setdiff(names(my.df2), "dates"), 
                  direction="long")

############################################################
# end help region
############################################################

# split "ind" to recover ticker and variable
my.df3$ind <- sub("\\.", " ", my.df3$ind)
inds.list <- strsplit(my.df3$ind, " ")
inds.df <- do.call(rbind.data.frame, inds.list)
names(inds.df) <- c("tickers", "variables")
my.df3 <- cbind(my.df3, inds.df)
my.df3$ind <- NULL

# reshape long data frame with variables in columns
my.df4 <- reshape(my.df3, timevar="variables", idvar=c("dates", "tickers"), direction="wide")
names(my.df4) <- sub("values.", "", names(my.df4))

---

编辑——更多细节。

我的 stack 调用的输出具有正确的形式，但我想使用基础 reshape 生成它。这是 my.df3 的 head，它是我的数据的“融化”长版本(即，行中的日期-个体-变量对)。

> head(my.df3)
    values      dates tickers variables
1 16.32171 2004-01-01       a       svi
2 30.77852 2004-01-08       a       svi
3 14.75164 2004-01-15       a       svi
4 49.77205 2004-01-22       a       svi
5 59.05023 2004-01-29       a       svi
6 55.86036 2004-02-05       a       svi

我上面显示的 reshape 调用不会产生与 stack 相同的输出，并将我的数据保留为宽数据框，但每个日期都有一行- 可变组合。这是上面代码中的 my.bad。

> my.bad[1:5, 1:5]
           dates time        a         b        c
1.svi 2004-01-01  svi 16.32171 91.314077 93.19167
2.svi 2004-01-08  svi 30.77852 17.907831 61.73727
3.svi 2004-01-15  svi 14.75164 13.730005 53.04939
4.svi 2004-01-22  svi 49.77205  5.987645 79.19428
5.svi 2004-01-29  svi 59.05023 38.226002 88.26567

我可以用上面的代码实现整体所需的输出，这只是我想用 reshape 而不是 stack 替换的中间步骤。这是最终所需的输出，它很长，每个变量一列，行中有日期-个体对。

> head(my.df4)
       dates tickers      svi meansvi
1 2004-01-01       a 16.32171      NA
2 2004-01-08       a 30.77852      NA
3 2004-01-15       a 14.75164      NA
4 2004-01-22       a 49.77205      NA
5 2004-01-29       a 59.05023      NA
6 2004-02-05       a 55.86036      NA

也许有一种方法可以完全跳过我对 stack 静默失败的担忧？

Answer 1

@agstudy 建议的第一步(将“索引”作为列)是必需的(据我所知)。我还建议对您的列进行一些重命名(主要是为了方便起见)。

library(splitstackshape) # also loads the "data.table" package
dt <- data.table(index=index(my.zoo),coredata(my.zoo),key='index')
setnames(dt, gsub("([a-z].*)\\.([a-z].*)", "\\2_\\1", names(dt)))
names(dt)
#  [1] "index"     "svi_a"     "svi_b"     "svi_c"     "svi_d"     "svi_e"     "svi_f"     "svi_g"    
#  [9] "svi_h"     "svi_i"     "svi_j"     "svi_k"     "svi_l"     "svi_m"     "svi_n"     "svi_o"    
# [17] "svi_p"     "svi_q"     "svi_r"     "svi_s"     "svi_t"     "svi_u"     "svi_v"     "svi_w"    
# [25] "svi_x"     "svi_y"     "svi_z"     "meansvi_a" "meansvi_b" "meansvi_c" "meansvi_d" "meansvi_e"
# [33] "meansvi_f" "meansvi_g" "meansvi_h" "meansvi_i" "meansvi_j" "meansvi_k" "meansvi_l" "meansvi_m"
# [41] "meansvi_n" "meansvi_o" "meansvi_p" "meansvi_q" "meansvi_r" "meansvi_s" "meansvi_t" "meansvi_u"
# [49] "meansvi_v" "meansvi_w" "meansvi_x" "meansvi_y" "meansvi_z"

从那里开始，这是一个简单的 reshape 问题:

reshape(dt, idvar="index", varying=2:ncol(dt), sep="_", direction = "long")
#             index time       svi  meansvi
#     1: 2004-01-01    a 42.037201       NA
#     2: 2004-01-08    a 26.178651       NA
#     3: 2004-01-15    a 22.918586       NA
#     4: 2004-01-22    a 32.408017       NA
#     5: 2004-01-29    a  8.014803       NA
#    ---                                   
# 13516: 2013-11-14    z 18.720031 51.98170
# 13517: 2013-11-21    z 40.362254 52.43208
# 13518: 2013-11-28    z 45.242975 53.18101
# 13519: 2013-12-05    z  9.951862 53.11564
# 13520: 2013-12-12    z 15.520532 52.41540

或者，坚持使用“splitstackshape”，您可以使用 merged.stack(这也比 reshape 更快):

merged.stack(dt, id.vars="index", var.stubs=c("^svi", "^meansvi"), sep = "_")
#             index .time_1      ^svi ^meansvi
#     1: 2004-01-01       a 42.037201       NA
#     2: 2004-01-01       b  8.121128       NA
#     3: 2004-01-01       c 65.798174       NA
#     4: 2004-01-01       d 31.805462       NA
#     5: 2004-01-01       e  8.002793       NA
#    ---                                      
# 13516: 2013-12-12       v 68.643179 44.87272
# 13517: 2013-12-12       w 48.169667 43.63862
# 13518: 2013-12-12       x 58.160491 53.72554
# 13519: 2013-12-12       y 72.259193 47.61617
# 13520: 2013-12-12       z 15.520532 52.41540

---

严格基于 R reshape :

您不必重命名您的数据以使用reshape，但如果您不这样做，则涉及更多的手动工作(我发现更有可能引入错误)。尝试:

df <- data.frame(index = index(my.zoo), coredata(my.zoo))
reshape(df, direction = "long", idvar="index", varying=2:ncol(df), 
        v.names=c("svi", "meansvi"), times = letters)

---

我已经发布了一些基准 here .总结就是@agstudy 以速度领先:

## Unit: milliseconds
##       expr   min     lq median     uq   max neval
##     AM_1() 229.2 236.47 244.66 255.91 334.1    20
##     AM_2()  84.0  86.69  90.08  93.60 176.0    20
##  agstudy()  52.5  52.95  56.09  60.36 133.5    20
##     orig() 268.7 324.58 350.45 440.32 588.6    20

我可能有偏见，但我对我的 merged.stack 函数的结果非常满意。