python - lstm 时间序列的多步序列的数据转换-6ren

python - lstm 时间序列的多步序列的数据转换

转载作者：行者123 更新时间：2023-12-01 00:26:35

31

4

我有一个如下所示的数据框，我想在客户级别创建多序列数据。请帮助我。

请注意，一个客户可以有 10 行，其他客户可以有 14 行。

数据框(输入):

Date    Customer    Price
1/6/2019    A   855    
1/7/2019    A   989    
1/8/2019    A   454    
1/9/2019    A   574    
1/10/2019   A   395    
1/1/2019    A   162
1/2/2019    A   123
1/3/2019    A   342
1/4/2019    A   232
1/5/2019    A   657
1/6/2019    B   875    
1/7/2019    B   999    
1/8/2019    B   434    
1/9/2019    B   564    
1/10/2019   B   345    
1/10/2019   B   798
1/6/2019    B   815    
1/7/2019    B   929    
1/8/2019    B   444    
1/9/2019    B   554    
1/10/2019   B   395    
1/10/2019   B   768

输出:

X_data(independent variables)   y_data(target)
customer  0   1     2   3         0    1
   A      855  989 454 574       395 162
   A      989  454 574 395       162 123
   A      454  574 395 162       123 342
   A      574  395 162 123       342 232
   A      395  162 123 342       232 657
   B      875  999 434 564       345 798
   B      999  434 564 345       798 875
   B      434  564 345 798       564 345   
   B      564  345 798 815       929 444
   B      345  798 815 929       444 554
   B      798  815 929 444       554 395
   B      815  929 444 554       395 768

从长远来看，X_data 可以扩展到 70 列，y_dat 可以扩展到 40 列。我尝试了下面的 for 循环，无论客户如何，但需要进行一些修改才能在客户级别上使用它。

data = np.array(data)
X_data, y_data = [], []
for i in range(4, len(data )-2):
    X_data.append(data[i-4:i])
    y_data.append(data[i:i+2])

请对此提出建议。提前致谢

最佳答案

这是我的建议。

首先将数据排序为价格序列(忽略日期并假设原始列表按时间顺序排序):

df = df.reset_index()
prices_by_customers = df.groupby('Customer')['Price']
customers = [name for name, prices in prices_by_customers]
price_sequences = pd.concat([prices.reset_index(drop=True)
                             for name, prices in prices_by_customers], 
                            axis=1, keys=customers)

价格序列:

        A    B
0   855.0  875
1   989.0  999
2   454.0  434
3   574.0  564
4   395.0  345
5   162.0  798
6   123.0  815
7   342.0  929
8   232.0  444
9   657.0  554
10    NaN  395
11    NaN  768

现在，创建您想要的数据框:

# Add shifted columns
x_data = []
y_data = []
for customer, prices in prices_by_customers:
    x = {i: prices.shift(-i) for i in range(4)}
    y = {i: prices.shift(-i-4) for i in range(2)}
    x['Customer'] = customer
    y['Customer'] = customer
    x_data.append(pd.DataFrame(x))
    y_data.append(pd.DataFrame(y))

# Join up datasets
x_data = pd.concat(x_data)
y_data = pd.concat(y_data)
print(pd.concat([x_data, y_data], axis=1))

输出:

      0      1      2      3 Customer      0      1 Customer
0   855  989.0  454.0  574.0        A  395.0  162.0        A
1   989  454.0  574.0  395.0        A  162.0  123.0        A
2   454  574.0  395.0  162.0        A  123.0  342.0        A
3   574  395.0  162.0  123.0        A  342.0  232.0        A
4   395  162.0  123.0  342.0        A  232.0  657.0        A
5   162  123.0  342.0  232.0        A  657.0    NaN        A
6   123  342.0  232.0  657.0        A    NaN    NaN        A
7   342  232.0  657.0    NaN        A    NaN    NaN        A
8   232  657.0    NaN    NaN        A    NaN    NaN        A
9   657    NaN    NaN    NaN        A    NaN    NaN        A
10  875  999.0  434.0  564.0        B  345.0  798.0        B
11  999  434.0  564.0  345.0        B  798.0  815.0        B
12  434  564.0  345.0  798.0        B  815.0  929.0        B
13  564  345.0  798.0  815.0        B  929.0  444.0        B
14  345  798.0  815.0  929.0        B  444.0  554.0        B
15  798  815.0  929.0  444.0        B  554.0  395.0        B
16  815  929.0  444.0  554.0        B  395.0  768.0        B
17  929  444.0  554.0  395.0        B  768.0    NaN        B
18  444  554.0  395.0  768.0        B    NaN    NaN        B
19  554  395.0  768.0    NaN        B    NaN    NaN        B
20  395  768.0    NaN    NaN        B    NaN    NaN        B
21  768    NaN    NaN    NaN        B    NaN    NaN        B

最后，删除 NaN 等:

training_data = pd.concat([x_data, y_data], axis=1, keys=['X_data', 'y_data']).dropna()
training_data = training_data.reset_index(drop=True).drop(('y_data', 'Customer'), axis=1)

训练数据:

   X_data                               y_data       
        0      1      2      3 Customer      0      1
0   855.0  989.0  454.0  574.0        A  395.0  162.0
1   989.0  454.0  574.0  395.0        A  162.0  123.0
2   454.0  574.0  395.0  162.0        A  123.0  342.0
3   574.0  395.0  162.0  123.0        A  342.0  232.0
4   395.0  162.0  123.0  342.0        A  232.0  657.0
5   875.0  999.0  434.0  564.0        B  345.0  798.0
6   999.0  434.0  564.0  345.0        B  798.0  815.0
7   434.0  564.0  345.0  798.0        B  815.0  929.0
8   564.0  345.0  798.0  815.0        B  929.0  444.0
9   345.0  798.0  815.0  929.0        B  444.0  554.0
10  798.0  815.0  929.0  444.0        B  554.0  395.0
11  815.0  929.0  444.0  554.0        B  395.0  768.0

关于python - lstm 时间序列的多步序列的数据转换，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/58544615/

31

4

0

文章推荐： python - 如何在 scikit learn 中保存 TFIDF 矢量器？

文章推荐： python - keras 预训练模型提供新的输入占位符

文章推荐： python - Google App Engine Flex 是否支持 Pipfile？

lstm - LSTM 单元如何映射到层？
我无法准确理解 LSTM 单元的范围——它如何映射到网络层。来自格雷夫斯 (2014): 在我看来，在单层网络中，layer = lstm 单元。这实际上如何在多层 rnn 中工作？三层RNN LS
machine-learning - lstm(256) + lstm(256) 和 lstm(512) 有什么区别？
这是代码 model = Sequential() model.add(LSTM(256, input_shape=(None, 1), return_sequences=True)) model.a
lstm - Pytorch 隐藏状态 LSTM
为什么我们需要在pytorch中初始化LSTM中的隐藏状态h0。由于 h0 无论如何都会被计算并被覆盖？是不是很像整合一个一 = 0 一个= 4 即使我们不做a=0，也应该没问题.. 最佳答案重点
lstm - Deeplearning4j LSTM 时间序列预测示例
我正在尝试使用 LSTM 在 Deeplearning4j 中进行一些简单的时间序列预测，但我很难让它工作。我有一个简单的文本文件，其中包含如下所示的数字列表，并希望网络学习预测下一个数字。有没有
keras - 对如何实现时间分布的 LSTM + LSTM 感到困惑
在大量阅读和绘制图表之后，我想我已经提出了一个模型，我可以将其用作更多测试我需要调整哪些参数和功能的基础。但是，我对如何实现以下测试用例感到困惑(所有数字都比最终模型小几个数量级，但我想从小处着手):
lstm - torch.nn.LSTM 运行时错误
我正在尝试实现“Livelinet:用于预测教育视频中的活力的多模式深度循环神经网络”中的结构。为了简单说明，我将 10 秒音频剪辑分成 10 个 1 秒音频剪辑，并从该 1 秒音频剪辑中获取频谱图
python - Tensorflow LSTM - LSTM 单元上的矩阵乘法
我正在 Tensorflow 中制作 LSTM 神经网络。输入张量大小为 92。 import tensorflow as tf from tensorflow.contrib import rnn
python - 在 LSTM 层之前具有嵌入层的 Keras LSTM
我正在尝试 keras IMDB 数据的示例，数据形状是这样的: x_train shape: (25000, 80) 我只是把keras例子的原始代码改成了这样的代码: model = Sequen
lstm - 如何正确地为 PyTorch 中的嵌入、LSTM 和线性层提供输入？
我需要了解如何使用 torch.nn 的不同组件正确准备批量训练的输入。模块。具体来说，我希望为 seq2seq 模型创建一个编码器-解码器网络。假设我有一个包含这三层的模块，按顺序: nn.Emb
tensorflow - Keras - 有状态 LSTM 与无状态 LSTM
我很难概念化 Keras 中有状态 LSTM 和无状态 LSTM 之间的区别。我的理解是，在每个批处理结束时，在无状态情况下“网络状态被重置”，而对于有状态情况，网络状态会为每个批处理保留，然后必须在
lstm - PyTorch LSTM - 使用词嵌入而不是 nn.Embedding()
nn.Embedding() 是学习 LSTM 所必需的吗？我在 PyTorch 中使用 LSTM 来预测 NER - 此处是类似任务的示例 - https://pytorch.org/tutori
python - 塑造 LSTM 的数据，并将密集层的输出馈送到 LSTM
我正在尝试找出适合我想要拟合的模型的正确语法。这是一个时间序列预测问题，我想在将时间序列输入 LSTM 之前使用一些密集层来改进时间序列的表示。这是我正在使用的虚拟系列: import pandas
deep-learning - 堆叠式 LSTM 网络中每个 LSTM 层的输入是什么？
我在理解堆叠式 LSTM 网络中各层的输入-输出流时遇到了一些困难。假设我已经创建了一个如下所示的堆叠式 LSTM 网络: # parameters time_steps = 10 features
lstm - 将 LSTM 中的 Tanh 激活更改为 ReLU
LSTM 类中的默认非线性激活函数是 tanh。我希望在我的项目中使用 ReLU。浏览文档和其他资源，我无法找到一种简单的方法来做到这一点。我能找到的唯一方法是定义我自己的自定义 LSTMCell，但
lstm - 是否可以在 PyTorch 中使用 LSTMCells 模块实现多层 LSTM？
在 PyTorch 中，有一个 LSTM 模块，除了输入序列、隐藏状态和单元状态之外，它还接受 num_layers 参数，该参数指定我们的 LSTM 有多少层。然而，还有另一个模块 LSTMCel
machine-learning - TensorFlow:在另一个 LSTM 之上的 LSTM
没什么好说的作为介绍:我想在 TensorFlow 中将 LSTM 堆叠在另一个 LSTM 上，但一直被错误阻止，我不太明白，更不用说单独解决了。代码如下: def RNN(_X, _istate,
machine-learning - 双向 LSTM 和 LSTM 有什么区别？
有人可以解释一下吗？我知道双向 LSTM 具有前向和反向传递，但是与单向 LSTM 相比，它有什么优势？它们各自更适合什么？最佳答案 LSTM 的核心是使用隐藏状态保留已经通过它的输入信息。单向
python - LSTM 内的 Tensorflow 序列到序列 LSTM(嵌套)
我想构建一个带有特殊词嵌入的 LSTM，但我对它的工作原理有一些疑问。您可能知道，一些 LSTM 对字符进行操作，因此它是字符输入，字符输出。我想做同样的事情，通过对单词的抽象来学习使用嵌套的 LS
Keras LSTM for continuous output and with EarlyStopping(用于连续输出和早期停止的KERAS LSTM)
我编写了一个LSTM回归模型。它是最后一个LSTM层的BATCH_SIZE=1和RETURN_Sequence=True的模型。我还设置了VERIFICATION_DATA和耐心进行培训。但似乎存在一
python - TensorFlow:为下一批记住 LSTM 状态(有状态 LSTM)
给定一个训练有素的 LSTM 模型，我想对单个时间步执行推理，即以下示例中的 seq_length = 1。在每个时间步之后，需要为下一个“批处理”记住内部 LSTM(内存和隐藏)状态。在推理的最开始

首页

博学

6Ren·AI

商城

python - lstm 时间序列的多步序列的数据转换