r - 汇总海量数据，如何用R处理？

Question

我正在研究 EBS，外汇市场限价订单簿 (LOB):这里是一个 100 毫秒时间片中的 LOB 示例:

datetime|side(0=Bid,1=Ask)| distance(1:best price, 2: 2nd best, etc.)| price
2008/01/28,09:11:28.000,0,1,1.6066
2008/01/28,09:11:28.000,0,2,1.6065
2008/01/28,09:11:28.000,0,3,1.6064
2008/01/28,09:11:28.000,0,4,1.6063
2008/01/28,09:11:28.000,0,5,1.6062

2008/01/28,09:11:28.000,1,1,1.6067
2008/01/28,09:11:28.000,1,2,1.6068
2008/01/28,09:11:28.000,1,3,1.6069
2008/01/28,09:11:28.000,1,4,1.6070
2008/01/28,09:11:28.000,1,5,1.6071

2008/01/28,09:11:28.500,0,1,1.6065 (I skip the rest)

总结一下数据，他们有两个规则(为了简单起见，我对其进行了一些更改):

如果Bid 或Ask 方的LOB 没有变化，他们将不会记录该方。查看数据的最后一行，毫秒是 000，现在是 500，这意味着 100、200、300 和 400 毫秒内任一侧的 LOB 都没有变化(但这些信息对于任何计算都很重要)。

从订单簿的给定一侧删除最后一个价格(仅最后一个)。在这种情况下，价格字段中没有任何内容的单个记录。同样，届时将没有整个 LOB 的记录。

示例:2008/01/28,09:11:28.800,0,1,

我想计算 minAsk-maxBid(1.6067-1.6066) 或加权平均价格(使用所有距离的大小作为权重，我的真实数据中有大小列)。我想为我的整个数据做。但正如您所见，数据已经汇总，这不是例行公事。我编写了一个代码来生成整个数据(不仅仅是摘要)。这对于小数据集很好，但对于大数据集，我正在创建一个巨大的文件。我想知道您是否有任何处理数据的技巧？如何在高效的同时填补空白。

Answer 1

您没有给出一个很好的可重现示例，因此这将是伪/未经测试的代码。仔细阅读文档并根据需要进行调整。

我建议您首先过滤数据并将其拆分为两个 data.frames:

best.bid <- subset(data, side == 0 & distance == 1)
best.ask <- subset(data, side == 1 & distance == 1)

然后，对于这两个 data.frames 中的每一个，使用 findInterval计算相应的最佳买价或最佳买价:

best.bid$ask <- best.ask$price[findInterval(best.bid$time, best.ask$time)]
best.ask$bid <- best.bid$price[findInterval(best.ask$time, best.bid$time)]

(为此，您可能必须将日期/时间转换为线性度量，例如自开市以来的秒数。)

那么它应该很容易:

min.spread <- min(c(best.bid$ask - best.bid$price,
                    best.ask$bid - best.ask$price))

我不确定我是否理解日终的特殊性，但我敢打赌，您可以计算收市时的价差并将其添加到最终 min 中。打电话。

对于加权平均价格，使用相同的想法，但不是两个 best.bid和 best.ask data.frames，你应该从两个 weighted.avg.bid 开始和 weighted.avg.ask数据帧。