python - 处理过多的零

Question

ipdb> np.count_nonzero(test==0) / len(ytrue) * 100                                                                                          
76.44815766923736

我有一个计算 24000 价格的数据文件，我将它们用于时间序列预测问题。我没有尝试预测价格，而是尝试预测对数返回，即 log(P_t/P_P{t-1})。我已经对价格以及所有功能应用了对数返回。预测还不错，但趋势预测往往为零。正如您在上面看到的，~76% 的数据是零。

现在的想法可能是“查找零膨胀估计量:首先预测它是否为零；如果不是，则预测值”。

具体来说，处理过多零的完美方法是什么？零膨胀估算器如何帮助我解决这个问题？请注意，我最初不是概率论者。

P.S. 我正在努力预测高频交易研究中单位为“秒”的对数返回。请注意，这是一个回归问题(不是分类问题)。

更新

这张图片可能是我对对数回归的最佳预测，即 log(P_t/P_{t-1})。虽然还不错，但剩下的预测往往预测为零。正如您在上面的问题中看到的那样，零太多了。我在功能内部可能也有同样的问题，因为我也对功能进行对数返回，即如果 F 是一个特定的功能，那么我应用 log(F_t/F_{t -1}).

这是一天的数据，log_return_with_features.pkl ，形状为 (23369, 30, 161)。对不起，但我不知道有什么特点。当我在所有特征和目标(即价格)上应用 log(F_t/F_{t-1}) 时，请注意我在应用对数返回操作之前将 1e-8 添加到所有特征以避免除法0.

Answer 1

好的，从您的情节来看:这是数据的性质，价格并没有经常变化。

尝试对您的原始数据进行一些子采样(也许是 5 倍，只需查看数据)，以便您通常可以看到每个时间点的价格变动。这将使任何建模变得MUCH容易得多。

对于子采样:我建议您在时域中进行简单的常规下采样。因此，如果您有第二个分辨率的价格数据(即每秒一个价格标签)，那么只需取每五个数据点。然后像往常一样继续，具体来说，根据这个二次抽样数据计算价格的对数增长。请记住，无论您做什么，都必须在测试时间内可重现。

如果出于某种原因这不是您的选择，请查看可以处理多个时间尺度的东西，例如WaveNet或 Clockwork RNN .