- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我正在尝试建立一个 LSTM 模型来预测股票第二天是上涨还是下跌。如您所见,一个简单的分类任务让我卡住了几天。我只选择 3 个特征来输入我的网络,下面我展示了我的预处理:
# pre-processing, last column has values of either 1 or zero
len(df.columns) # 32 columns
index_ = len(df.columns) - 1
x = df.iloc[:,:index_]
y = df.iloc[:,index_:].values.astype(int)
删除任何 nan 值:
def clean_dataset(df):
assert isinstance(df, pd.DataFrame), "df needs to be a pd.DataFrame"
df.dropna(inplace=True)
indices_to_keep = ~df.isin([np.nan, np.inf, -np.inf, 'NaN', 'nan']).any(1)
return df[indices_to_keep].astype(np.float64)
df = clean_dataset(df)
然后我采用 3 个选定的特征并显示 X
和 Y
selected_features = ['feature1', 'feature2', 'feature3']
x = x[selected_features].values.astype(float)
# s.shape (44930, 3)
# y.shape (44930, 1)
然后我将我的数据集分成 80/20
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.20, random_state=98 )
这里我正在 reshape 我的数据
x_train = x_train.reshape(x_train.shape[0], x_train.shape[1], 1)
x_test = x_test.reshape(x_test.shape[0], x_test.shape[1], 1)
y_train = y_train.reshape(-1, 1)
y_test = y_test.reshape(-1, 1)
这是每一个的新形状:
x_train.shape = (35944, 3, 1)
x_test.shape = (8986, 3, 1)
y_train.shape = (35944, 1)
y_test.shape = (8986, 1)
x_train
集的第一个样本在 reshape 之前
x_train[0] => array([8.05977145e-01, 4.92200000e+01, 1.23157152e+08])
x_train
集的第一个样本 reshape 后
x_train[0] => array([[8.05977145e-01],
[4.92200000e+01],
[1.23157152e+08]
])
确保我的训练集中没有 nan 值 x_train 和 y_train
:
for main_index, xx in enumerate(x_train):
for i, y in enumerate(xx):
if type(x_train[main_index][i][0]) != np.float64:
print("Something wrong here:" ,main_index, i)
else:
print("done") # one done, got nothing wrong
终于在这里训练了LSTM
def build_nn():
model = Sequential()
model.add(Bidirectional(LSTM(32, return_sequences=True, input_shape = (x_train.shape[1], 1), name="one"))) #. input_shape = (None, *x_train.shape) ,
model.add(Dropout(0.20))
model.add(Bidirectional(LSTM(32, return_sequences=False, name="three")))
model.add(Dropout(0.10))
model.add(Dense(32, activation='relu'))
model.add(Dropout(0.10))
model.add(Dense(1, activation='sigmoid'))
opt = Adam(lr=0.0001, beta_1=0.9, beta_2=0.999, decay=0.01)
model.compile(loss='binary_crossentropy', optimizer=opt, metrics=['accuracy'])
return model
filepath = "bilstmv1.h5"
chkp = ModelCheckpoint(monitor = 'val_accuracy', mode = 'auto', filepath=filepath, verbose = 1, save_best_only=True)
model = build_nn()
model.fit(x_train, y_train, epochs=15, batch_size=32, validation_split=0.1, callbacks=[chkp])
这里是 CNN:
model.add(Conv1D(256, 3, input_shape = (x_train.shape[1], 1), activation='relu', padding="same"))
model.add(BatchNormalization())
model.add(Dropout(0.15))
model.add(Conv1D(128, 3, activation='relu', padding="same"))
model.add(BatchNormalization())
model.add(Dropout(0.15))
model.add(Dense(32, activation='relu'))
model.add(Dropout(0.15))
model.add(Dense(1))
model.add(Activation("sigmoid"))
# opt = Adam(lr=0.01, beta_1=0.9, beta_2=0.999, decay=0.01)
# opt = SGD(lr=0.01)
model.compile(loss='binary_crossentropy', optimizer='adamax', metrics=['accuracy'])
在我开始训练之前一切似乎都很好,训练时 val_loss 和 val_accuracy 都没有改变
Epoch 1/15
1011/1011 [==============================] - 18s 10ms/step - loss: 0.6803 - accuracy: 0.5849 - val_loss: 0.6800 - val_accuracy: 0.5803
Epoch 00001: val_accuracy improved from -inf to 0.58025, saving model to bilstmv1.h5
Epoch 2/15
1011/1011 [==============================] - 9s 9ms/step - loss: 0.6782 - accuracy: 0.5877 - val_loss: 0.6799 - val_accuracy: 0.5803
Epoch 00002: val_accuracy did not improve from 0.58025
Epoch 3/15
1011/1011 [==============================] - 9s 8ms/step - loss: 0.6793 - accuracy: 0.5844 - val_loss: 0.6799 - val_accuracy: 0.5803
Epoch 00003: val_accuracy did not improve from 0.58025
Epoch 4/15
1011/1011 [==============================] - 9s 9ms/step - loss: 0.6784 - accuracy: 0.5861 - val_loss: 0.6799 - val_accuracy: 0.5803
Epoch 00004: val_accuracy did not improve from 0.58025
Epoch 5/15
1011/1011 [==============================] - 9s 9ms/step - loss: 0.6796 - accuracy: 0.5841 - val_loss: 0.6799 - val_accuracy: 0.5803
Epoch 00005: val_accuracy did not improve from 0.58025
Epoch 6/15
1011/1011 [==============================] - 8s 8ms/step - loss: 0.6792 - accuracy: 0.5842 - val_loss: 0.6798 - val_accuracy: 0.5803
Epoch 00006: val_accuracy did not improve from 0.58025
Epoch 7/15
1011/1011 [==============================] - 8s 8ms/step - loss: 0.6779 - accuracy: 0.5883 - val_loss: 0.6798 - val_accuracy: 0.5803
Epoch 00007: val_accuracy did not improve from 0.58025
Epoch 8/15
1011/1011 [==============================] - 8s 8ms/step - loss: 0.6797 - accuracy: 0.5830 - val_loss: 0.6798 - val_accuracy: 0.5803
Epoch 00008: val_accuracy did not improve from 0.58025
我试图改变我在这里和那里看到的每一件事,但没有任何效果,我确信我的数据中没有 nan 值,因为我在预处理步骤中删除了它们。 我尝试运行 CNN 来检查它是否与 LSTM 相关,并得到相同的结果(两件事中的任何一件都没有改变)。此外,在尝试了不同的优化器之后,一切都没有改变。非常感谢任何帮助。
这是完成所有预处理后的数据集链接: https://drive.google.com/file/d/1punYl-f3dFbw1YWtw3M7hVwy5knhqU9Q/view?usp=sharing
使用决策树我能得到 85%
decesion_tree = DecisionTreeClassifier().fit(x_train, y_train)
dt_predictions = decesion_tree.predict(x_test)
score = metrics.accuracy_score(y_test, dt_predictions) # 85
注意:预测测试对所有测试集 (x_test) 具有相同的值,这告诉我们为什么 val_accuracy 没有改变。
最佳答案
这里有多个问题,所以我将尝试逐步解决所有问题。
首先,机器学习数据需要具有模型可以推断和预测的模式。股票预测是高度不规则的,几乎是随机的,我会将任何 50% 的准确度偏差归因于统计方差。
NN 可能很难训练并且“天下没有免费的午餐”
import pandas as pd
import numpy as np
import tensorflow as tf
from tensorflow.keras import *
from tensorflow.keras.layers import *
from tensorflow.keras.optimizers import *
file = pd.read_csv('dummy_db.csv')
x_train = np.expand_dims(file[['feature1', 'feature2', 'feature3']].to_numpy(), axis=2)
y_train = file['Label'].to_numpy(np.bool)
model = Sequential()
model.add(Bidirectional(LSTM(32, return_sequences=True, input_shape = (x_train.shape[1], 1), name="one"))) #. input_shape = (None, *x_train.shape) ,
model.add(Dropout(0.20))
model.add(Bidirectional(LSTM(32, return_sequences=False, name="three")))
model.add(Dropout(0.10))
model.add(Dense(32, activation='relu'))
model.add(Dropout(0.10))
model.add(Dense(1, activation='sigmoid'))
opt = SGD(learning_rate = 0, momentum = 0.1)
model.compile(loss='binary_crossentropy', optimizer=opt, metrics=['accuracy'])
model.fit(x_train, y_train, epochs=1, batch_size=128, validation_split=0.1)
用于识别初始精度的零 LR 训练步骤。您会看到初始准确率为 41%(这个准确率是命中或未命中,稍后会解释)。
316/316 [==============================] - 10s 11ms/step - loss:0.7006 - accuracy: 0.4321 - val_loss: 0.6997 - val_accuracy: 0.41
我将 LR 保持在较小的 (1e-4)
以便您可以看到精度发生的变化
opt = SGD(learning_rate = 1e-4, momentum = 0.1)
model.compile(loss='binary_crossentropy', optimizer=opt, metrics=['accuracy'])
model.fit(x_train, y_train, epochs=15,batch_size=128, validation_split=0.1)
Epoch 1/15 316/316 [==============================] - 7s 9ms/step -loss: 0.6982 - accuracy: 0.4573 - val_loss: 0.6969 - val_accuracy: 0.41
Epoch 2/15 316/316 [==============================] - 2s 5ms/step -loss: 0.6964 - accuracy: 0.4784 - val_loss: 0.6954 - val_accuracy: 0.41
Epoch 3/15 316/316 [==============================] - 2s 6ms/step -loss: 0.6953 - accuracy: 0.4841 - val_loss: 0.6941 - val_accuracy: 0.49
Epoch 4/15 316/316 [==============================] - 2s 6ms/step -loss: 0.6940 - accuracy: 0.4993 - val_loss: 0.6929 - val_accuracy: 0.51
Epoch 5/15 316/316 [==============================] - 2s 6ms/step -loss: 0.6931 - accuracy: 0.5089 - val_loss: 0.6917 - val_accuracy: 0.54
Epoch 6/15 316/316 [==============================] - 2s 6ms/step -loss: 0.6918 - accuracy: 0.5209 - val_loss: 0.6907 - val_accuracy: 0.56
Epoch 7/15 316/316 [==============================] - 2s 6ms/step -loss: 0.6907 - accuracy: 0.5337 - val_loss: 0.6897 - val_accuracy: 0.58
Epoch 8/15 316/316 [==============================] - 2s 6ms/step -loss: 0.6905 - accuracy: 0.5347 - val_loss: 0.6886 - val_accuracy: 0.58
Epoch 9/15 316/316 [==============================] - 2s 6ms/step -loss: 0.6885 - accuracy: 0.5518 - val_loss: 0.6853 - val_accuracy: 0.58
** 为简洁起见省略了其余的运行 **
如果您重新运行训练,您可能会发现该模型最初的准确率为 58%,而且再也没有提高。这是因为除了看似存在于 58% 的最小值之外,它没有实际学习的特征,而我不相信实际案例中的最小值。
让我再补充一些证据
import pandas as pd
file = pd.read_csv('dummy_db.csv')
sum(file['Label'])/len(file)
0.4176496772757623
这就是正确的数量,同时有 58% 的错误。因此,正在发生的事情是您的模型正在学习预测所有情况下的错误并获得次优的 58% 准确度。我们可以证明这个说法
sum(model.predict(x_train) < 0.5)
array([44930])
这就是你经常性的 58% 的真正原因,我认为它不会做得更好。
那么现在怎么办?
关于python - Keras:val_loss 和 val_accuracy 没有改变,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/66719167/
我正在处理一组标记为 160 个组的 173k 点。我想通过合并最接近的(到 9 或 10 个组)来减少组/集群的数量。我搜索过 sklearn 或类似的库,但没有成功。 我猜它只是通过 knn 聚类
我有一个扁平数字列表,这些数字逻辑上以 3 为一组,其中每个三元组是 (number, __ignored, flag[0 or 1]),例如: [7,56,1, 8,0,0, 2,0,0, 6,1,
我正在使用 pipenv 来管理我的包。我想编写一个 python 脚本来调用另一个使用不同虚拟环境(VE)的 python 脚本。 如何运行使用 VE1 的 python 脚本 1 并调用另一个 p
假设我有一个文件 script.py 位于 path = "foo/bar/script.py"。我正在寻找一种在 Python 中通过函数 execute_script() 从我的主要 Python
这听起来像是谜语或笑话,但实际上我还没有找到这个问题的答案。 问题到底是什么? 我想运行 2 个脚本。在第一个脚本中,我调用另一个脚本,但我希望它们继续并行,而不是在两个单独的线程中。主要是我不希望第
我有一个带有 python 2.5.5 的软件。我想发送一个命令,该命令将在 python 2.7.5 中启动一个脚本,然后继续执行该脚本。 我试过用 #!python2.7.5 和http://re
我在 python 命令行(使用 python 2.7)中,并尝试运行 Python 脚本。我的操作系统是 Windows 7。我已将我的目录设置为包含我所有脚本的文件夹,使用: os.chdir("
剧透:部分解决(见最后)。 以下是使用 Python 嵌入的代码示例: #include int main(int argc, char** argv) { Py_SetPythonHome
假设我有以下列表,对应于及时的股票价格: prices = [1, 3, 7, 10, 9, 8, 5, 3, 6, 8, 12, 9, 6, 10, 13, 8, 4, 11] 我想确定以下总体上最
所以我试图在选择某个单选按钮时更改此框架的背景。 我的框架位于一个类中,并且单选按钮的功能位于该类之外。 (这样我就可以在所有其他框架上调用它们。) 问题是每当我选择单选按钮时都会出现以下错误: co
我正在尝试将字符串与 python 中的正则表达式进行比较,如下所示, #!/usr/bin/env python3 import re str1 = "Expecting property name
考虑以下原型(prototype) Boost.Python 模块,该模块从单独的 C++ 头文件中引入类“D”。 /* file: a/b.cpp */ BOOST_PYTHON_MODULE(c)
如何编写一个程序来“识别函数调用的行号?” python 检查模块提供了定位行号的选项,但是, def di(): return inspect.currentframe().f_back.f_l
我已经使用 macports 安装了 Python 2.7,并且由于我的 $PATH 变量,这就是我输入 $ python 时得到的变量。然而,virtualenv 默认使用 Python 2.6,除
我只想问如何加快 python 上的 re.search 速度。 我有一个很长的字符串行,长度为 176861(即带有一些符号的字母数字字符),我使用此函数测试了该行以进行研究: def getExe
list1= [u'%app%%General%%Council%', u'%people%', u'%people%%Regional%%Council%%Mandate%', u'%ppp%%Ge
这个问题在这里已经有了答案: Is it Pythonic to use list comprehensions for just side effects? (7 个答案) 关闭 4 个月前。 告
我想用 Python 将两个列表组合成一个列表,方法如下: a = [1,1,1,2,2,2,3,3,3,3] b= ["Sun", "is", "bright", "June","and" ,"Ju
我正在运行带有最新 Boost 发行版 (1.55.0) 的 Mac OS X 10.8.4 (Darwin 12.4.0)。我正在按照说明 here构建包含在我的发行版中的教程 Boost-Pyth
学习 Python,我正在尝试制作一个没有任何第 3 方库的网络抓取工具,这样过程对我来说并没有简化,而且我知道我在做什么。我浏览了一些在线资源,但所有这些都让我对某些事情感到困惑。 html 看起来
我是一名优秀的程序员,十分优秀!