gpt4 book ai didi

python - 使用 lstm 和 keras 训练模型

转载 作者:太空宇宙 更新时间:2023-11-04 05:00:41 26 4
gpt4 key购买 nike

我有这样的输入数据:

x_train = [
[0,0,0,1,-1,-1,1,0,1,0,...,0,1,-1],
[-1,0,0,-1,-1,0,1,1,1,...,-1,-1,0]
...
[1,0,0,1,1,0,-1,-1,-1,...,-1,-1,0]
]
y_train = [1,1,1,0,-1,-1,-1,0,1...,0,1]

它是一个 arryas 数组,每个数组的大小为 83。y_train 是每个数组的标签。所以 len(x_train) 等于 len(y_train)。我使用 keras 和 theano 后端使用以下代码对此类数据进行训练:

def train(x, y, x_test, y_test):
x_train = np.array(x)
y_train = np.array(y)
print x_train.shape
print y_train.shape
model = Sequential()
model.add(Embedding(x_train.shape[0], output_dim=256))
model.add(LSTM(128))
model.add(Dropout(0.5))
model.add(Dense(1, activation='sigmoid'))
model.compile(loss='binary_crossentropy',
optimizer='rmsprop',
metrics=['accuracy'])
model.fit(x_train, y_train, batch_size=16)
score = model.evaluate(x_test, y_test, batch_size=16)
print score

但我的网络不适合,结果是:

Epoch 1/10
1618/1618 [==============================] - 4s - loss: -1.6630 - acc: 0.0043
Epoch 2/10
1618/1618 [==============================] - 4s - loss: -2.5033 - acc: 0.0012
Epoch 3/10
1618/1618 [==============================] - 4s - loss: -2.6150 - acc: 0.0012
Epoch 4/10
1618/1618 [==============================] - 4s - loss: -2.6297 - acc: 0.0012
Epoch 5/10
1618/1618 [==============================] - 4s - loss: -2.5731 - acc: 0.0012
Epoch 6/10
1618/1618 [==============================] - 4s - loss: -2.6042 - acc: 0.0012
Epoch 7/10
1618/1618 [==============================] - 4s - loss: -2.6257 - acc: 0.0012
Epoch 8/10
1618/1618 [==============================] - 4s - loss: -2.6303 - acc: 0.0012
Epoch 9/10
1618/1618 [==============================] - 4s - loss: -2.6296 - acc: 0.0012
Epoch 10/10
1618/1618 [==============================] - 4s - loss: -2.6298 - acc: 0.0012
283/283 [==============================] - 0s
[-2.6199024279631482, 0.26501766742328875]

我想参加这次培训并取得好成绩。

最佳答案

负损失应该引发巨大的危险信号。损失应始终为正数,接近于零。你说你的 y 是

y_train = [1,1,1,0,-1,-1,-1,0,1...,0,1]

由于您的损失是 binary_crossentropy,我必须假设目标是 2 类分类问题。当您查看 y 值时,您有 -1、0 和 1。这表明有 3 个类别。大问题,你应该只有 1 和 0。您需要更正您的数据。我对数据一无所知,所以我忍不住将它压缩为两个类。 -1 是负损失的原因。 sigmoid 激活基于范围为 0-1 的 CDF,因此您的类必须适合此函数的两端。


编辑

根据下面评论中的描述,我建议使用 3 类结构。以下是转换为分类值的输出数据示例

from keras.utils import to_categorical

y_train = np.random.randint(-1,2,(10))

print(y_train)

[-1 0 -1 -1 -1 0 -1 1 1 0]

print(to_categorical(y_train,num_classes=3))

[[ 0. 0. 1.]
[ 1. 0. 0.]
[ 0. 0. 1.]
[ 0. 0. 1.]
[ 0. 0. 1.]
[ 1. 0. 0.]
[ 0. 0. 1.]
[ 0. 1. 0.]
[ 0. 1. 0.]
[ 1. 0. 0.]]

现在每个可能的输出都存储在一个单独的列中。您可以看到如何为 -1,0 和 1 分配一个二进制值,即 -1 = [0. 0. 1.], 0 = [1. 0. 0.]1 = [0. 1. 0.]

现在你只需要更新损失函数、输出节点的数量和输出层的激活

model.add(Dense(3, activation='softmax'))
model.compile(loss='categorical_crossentropy',
optimizer='rmsprop',
metrics=['accuracy'])

关于python - 使用 lstm 和 keras 训练模型,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/45818044/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com