- mongodb - 在 MongoDB mapreduce 中,如何展平值对象?
- javascript - 对象传播与 Object.assign
- html - 输入类型 ="submit"Vs 按钮标签它们可以互换吗?
- sql - 使用 MongoDB 而不是 MS SQL Server 的优缺点
我正在尝试构建一个 LSTM 自动编码器,目标是从序列中获取固定大小的向量,该向量尽可能好地表示该序列。这个自动编码器由两部分组成:
LSTM
编码器:接受一个序列并返回一个输出向量(return_sequences = False
)LSTM
解码器:获取一个输出向量并返回一个序列(return_sequences = True
)所以,最后,编码器是多对一 LSTM,解码器是一对多 LSTM。
图片来源:Andrej Karpathy
在高层次上,编码看起来像这样(类似于 here 的描述):
encoder = Model(...)
decoder = Model(...)
autoencoder = Model(encoder.inputs, decoder(encoder(encoder.inputs)))
autoencoder.compile(loss='binary_crossentropy',
optimizer='adam',
metrics=['accuracy'])
autoencoder.fit(data, data,
batch_size=100,
epochs=1500)
data
的形状(训练示例数、序列长度、输入维度)数组是 (1200, 10, 5)
看起来像这样:
array([[[1, 0, 0, 0, 0],
[0, 1, 0, 0, 0],
[0, 0, 1, 0, 0],
...,
[0, 0, 0, 0, 0],
[0, 0, 0, 0, 0],
[0, 0, 0, 0, 0]],
... ]
问题:我不知道如何进行,尤其是如何集成LSTM
至Model
以及如何让解码器从向量生成序列。
我正在使用 keras
与 tensorflow
后端。
编辑:如果有人想尝试,这是我生成带有移动序列(包括填充)的随机序列的过程:
import random
import math
def getNotSoRandomList(x):
rlen = 8
rlist = [0 for x in range(rlen)]
if x <= 7:
rlist[x] = 1
return rlist
sequence = [[getNotSoRandomList(x) for x in range(round(random.uniform(0, 10)))] for y in range(5000)]
### Padding afterwards
from keras.preprocessing import sequence as seq
data = seq.pad_sequences(
sequences = sequence,
padding='post',
maxlen=None,
truncating='post',
value=0.
)
最佳答案
模型可以是您想要的任何方式。如果我没听错的话,你只是想知道如何用 LSTM 创建模型?
使用 LSTM
首先,您必须定义编码向量的外观。假设您希望它是一个包含 20 个元素的数组,一个一维向量。所以,形状(无,20)。它的大小取决于你,没有明确的规则可以知道理想的大小。
并且您的输入必须是三维的,例如您的 (1200,10,5)。在 keras 摘要和错误消息中,它将显示为 (None,10,5),因为“None”表示批量大小,每次训练/预测时都会有所不同。
有很多方法可以做到这一点,但是,假设您只需要一个 LSTM 层:
from keras.layers import *
from keras.models import Model
inpE = Input((10,5)) #here, you don't define the batch size
outE = LSTM(units = 20, return_sequences=False, ...optional parameters...)(inpE)
这对于一个非常简单的编码器来说已经足够了,它会产生一个包含 20 个元素的数组(但如果需要,您可以堆叠更多层)。让我们创建模型:
encoder = Model(inpE,outE)
现在,对于解码器,它变得晦涩难懂。你不再有一个实际的序列,而是一个静态的有意义的向量。您可能仍然想使用 LTSM,他们会假设向量是一个序列。
但在这里,由于输入具有形状 (None,20),因此您必须先将其重新整形为某个 3 维数组,以便接下来附加一个 LSTM 层。
reshape 它的方式完全取决于您。 1 个元素的 20 个步骤? 20 个元素的 1 步? 2个元素的10个步骤?谁知道?
inpD = Input((20,))
outD = Reshape((10,2))(inpD) #supposing 10 steps of 2 elements
请务必注意,如果您不再有 10 个步骤,您将无法仅启用“return_sequences”并获得所需的输出。你将不得不工作一点。实际上,没有必要使用“return_sequences”甚至使用 LSTM,但您可以这样做。
由于在我的 reshape 中我有 10 个时间步(有意),因此可以使用“return_sequences”,因为结果将有 10 个时间步(作为初始输入)
outD1 = LSTM(5,return_sequences=True,...optional parameters...)(outD)
#5 cells because we want a (None,10,5) vector.
您可以通过许多其他方式工作,例如简单地创建一个 50 单元的 LSTM,而不返回序列,然后重新调整结果:
alternativeOut = LSTM(50,return_sequences=False,...)(outD)
alternativeOut = Reshape((10,5))(alternativeOut)
我们的模型是这样的:
decoder = Model(inpD,outD1)
alternativeDecoder = Model(inpD,alternativeOut)
之后,您将模型与代码结合起来并训练自动编码器。所有三个模型将具有相同的权重,因此您可以通过使用其 predict
方法使编码器带来结果。
encoderPredictions = encoder.predict(data)
我经常看到用于生成序列的 LSTM 类似于预测下一个元素。
您只取序列中的几个元素并尝试找到下一个元素。然后你又向前迈了一步,依此类推。这可能有助于生成序列。
关于python - LSTM 自动编码器,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/44647258/
我有课 class Header { @FCBTag(type="type1") --My custom annotation int a = "valueA"; @FCBTa
我一直在使用 Apache MINA 并正在学习 Netty。我过去使用过 MINA 累积编码器/解码器,我有兴趣看看 Netty 是否有类似的功能。我查看了 API,但没有看到任何内容。 最佳答案
我有一组使用 wsdl2java (Axis 1.4) 创建的类,我正在寻找一种方法来解码和编码来自/到字符串和对象的数据。我已经编写了一个 JAXB 解码器,它适用于我们的一些较新的内部对象,因为我
在我的自定义类 WLNetworkClient 中,我必须实现这样的方法: required init(coder aDecoder: NSCoder) { fatalError("init(
基于 transformer 的编码器-解码器模型是 表征学习 和 模型架构 这两个领域多年研究成果的结晶。本文简要介绍了神经编码器-解码器模型的历史,更多背景知识,建议读者阅读由 Seba
在使用 FFMPEG android java 库时发生以下异常的视频播放速度(使视频变慢)。 [aac @ 0x416c26f0] The encoder 'aac' is experimental
我正在从一个程序运行 ffmpeg,我们自己构建了 ffmpeg(我们没有使用包管理器或预构建的东西安装它)。 这是构建的命令: 2020-07-31 12:14:11.942 INFO ffmpeg
许多基于LSTM的seq2seq编码器-解码器架构教程(例如英法翻译),将模型定义如下: encoder_inputs = Input(shape=(None,)) en_x= Embedding(
如何覆盖使用 marshmallow 的 JSON 编码器库,以便它可以序列化 Decimal字段?我想我可以通过覆盖 json_module 来做到这一点在基地Schema或 Meta课,但我不知道
在我的 Grails 2.5.0 应用程序中,我使用了一组自定义 JSON 编码器来严格控制由我的 REST 端点返回的 JSON 格式。目前我在这样的服务中注册这些编码器 class Marshal
我需要多个自定义 JSON 编码器,因为我想针对不同的目的以不同的方式进行编码。我知道如何使用以下方法设置自定义编码器应用程序: JSON.registerObjectMarshaller(MyCla
查看文档,它是这样说的: https://netty.io/4.0/api/io/netty/channel/ChannelPipeline.html A user is supposed to ha
我希望为以下案例类提供 JSON 编码器: import io.circe.generic.extras.Configuration final case class Hello[T]( so
我正在构建一个 JPEG 图像编码器。就目前情况而言,为了对图像进行编码,用户输入他们希望编码的文件的名称以及由此创建的文件的名称。 我希望用户能够在命令行中设置编码的质量。我尝试重命名 new Jp
我有想要在 webview 中显示的 html 文本。 如specification ,数据必须经过 URI 转义。所以我尝试使用 URLEncoder.encode() 函数,但这对我没有帮助,因为
我目前正在自己实现 PNG 滤镜。我正在使用神经网络尝试创建比当前现有的 PNG 过滤器更好的预测: 0 - 无 1 - 子 2 - 向上 3 - 平均 4 - 派斯 5 - 我的实现(使用神经网
让我们假设我们有与 Schema 一致的 XML 和带有一些公共(public)字段的 Java 类: public clas
在我的 Java 应用程序中,我正在寻找 URLEncoder.encode(String s, String enc) 的流媒体版本.我想使用“application/x-www-form-urle
我确实有一个对象层次结构,我想使用“import javax.xml.bind.Marshaller”将其从 Java 对象转换为 xml。我的java类文件被编码在“Cp1252”中,我无法更改它。
使用 Netty 4.0.27 和 Java 1.8.0_20 所以我试图通过构建一个简单的聊天服务器(我猜是典型的网络教程程序?)来了解 Netty 的工作原理。设计我自己的简单协议(protoco
我是一名优秀的程序员,十分优秀!