- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我正在使用TensorFlow v:1.1,并且我想使用tf.contrib.seq2seq api实现一个序列到序列模型。
但是,我很难理解如何使用提供的所有功能(BasicDecoder,Dynamic_decode,Helper,Training Helper ...)来构建模型。
这是我的设置:我想将一系列特征向量:(batch_size,encoder_max_seq_len,feature_dim)“翻译”成不同长度的序列(batch_size,decoder_max_len,1)。
我已经有一个编码器,它是带有LSTM单元的RNN,并且得到了它的最终状态,我希望将其作为初始输入馈送到解码器。
我已经有用于解码器MultiRNNCell LSM的单元。
您能帮我使用tf.contrib.seq2seq2和dynamic_decode的功能来构建最后一部分吗(示例代码或解释将不胜感激)?
这是我的代码:
import tensorflow as tf
from tensorflow.contrib import seq2seq
from tensorflow.contrib import rnn
import math
from data import gen_sum_2b2
class Seq2SeqModel:
def __init__(self,
in_size,
out_size,
embed_size,
n_symbols,
cell_type,
n_units,
n_layers):
self.in_size = in_size
self.out_size = out_size
self.embed_size = embed_size
self.n_symbols = n_symbols
self.cell_type = cell_type
self.n_units = n_units
self.n_layers = n_layers
self.build_graph()
def build_graph(self):
self.init_placeholders()
self.init_cells()
self.encoder()
self.decoder_train()
self.loss()
self.training()
def init_placeholders(self):
with tf.name_scope('Placeholders'):
self.encoder_inputs = tf.placeholder(shape=(None, None, self.in_size),
dtype=tf.float32, name='encoder_inputs')
self.decoder_targets = tf.placeholder(shape=(None, None),
dtype=tf.int32, name='decoder_targets')
self.seqs_len = tf.placeholder(dtype=tf.int32)
self.batch_size = tf.placeholder(tf.int32, name='dynamic_batch_size')
self.max_len = tf.placeholder(tf.int32, name='dynamic_seq_len')
decoder_inputs = tf.reshape(self.decoder_targets, shape=(self.batch_size,
self.max_len, self.out_size))
self.decoder_inputs = tf.cast(decoder_inputs, tf.float32)
self.eos_step = tf.ones([self.batch_size, 1], dtype=tf.float32, name='EOS')
self.pad_step = tf.zeros([self.batch_size, 1], dtype=tf.float32, name='PAD')
def RNNCell(self):
c = self.cell_type(self.n_units, reuse=None)
c = rnn.MultiRNNCell([self.cell_type(self.n_units) for i in range(self.n_layers)])
return c
def init_cells(self):
with tf.variable_scope('RNN_enc_cell'):
self.encoder_cell = self.RNNCell()
with tf.variable_scope('RNN_dec_cell'):
self.decoder_cell = rnn.OutputProjectionWrapper(self.RNNCell(), self.n_symbols)
def encoder(self):
with tf.variable_scope('Encoder'):
self.init_state = self.encoder_cell.zero_state(self.batch_size, tf.float32)
_, self.encoder_final_state = tf.nn.dynamic_rnn(self.encoder_cell, self.encoder_inputs,
initial_state=self.init_state)
最佳答案
解码层:
解码由两部分组成,因为它们在training
和inference
期间有所不同:
特定时间步长的解码器输入始终来自输出
上一个时间步。但是在训练过程中,输出是固定的
到实际目标(将实际目标作为输入反馈),这可以提高性能。
这两个都是使用tf.contrib.seq2seq
中的方法处理的。decoder
的主要功能是:seq2seq.dynamic decoder()
执行动态解码:tf.contrib.seq2seq.dynamic_decode(decoder,maximum_iterations)
这需要一个Decoder
实例和maximum_iterations=maximum seq length
作为输入。
1.1 Decoder
实例来自:seq2seq.BasicDecoder(cell, helper, initial_state,output_layer)
输入为:cell
(RNNCell实例),helper
(帮助程序实例),initial_state
(解码器的初始状态,应为编码器的输出状态)和output_layer
(可选的密集层,如输出进行预测)
1.2 RNNCell实例可以是rnn.MultiRNNCell()
。
1.3 helper
实例是与training
和inference
不同的实例。在training
期间,我们希望将输入馈送到解码器,而在inference
期间,我们希望将time-step (t)
中的解码器输出作为输入传递到time step (t+1)
中的解码器。
培训:我们使用辅助功能:
seq2seq.TrainingHelper(inputs, sequence_length)
,仅读取输入。
推断:我们调用辅助函数:
seq2seq.GreedyEmbeddingHelper() or seqseq.SampleEmbeddingHelper()
,不同之处在于是否使用输出的argmax() or sampling(from a distribution)
并将结果传递给嵌入层以获取下一个输入。
放在一起:Seq2Seq模型
从encoder layer
获取编码器状态,并将其作为initial_state
传递给解码器。
使用decoder train
获取decoder inference
和seq2seq.dynamic_decoder()
的输出。当调用这两种方法时,请确保权重是共享的。 (使用variable_scope
重用权重)
然后使用损失函数seq2seq.sequence_loss
训练网络。
给出了示例代码here和here。
关于tensorflow - 使用seq2seq API(1.1版及更高版本)的Tensorflow Sequence到序列模型,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/43622778/
给定一个 Sequence of Sequences 类型,如何将其转换为单个扁平化 Sequence 类型?考虑以下 Ceylon 代码: Integer[] range(Integer max)
出于学习目的,我正在尝试使用 F# 以序列形式运行模拟。从一系列随机数开始,如果状态不依赖于先前的状态,map 是生成状态序列的直接方法。我遇到问题的地方是当我尝试做类似的事情时: State(i+1
我正在 DynamoDB 上开发论坛。 有一个帖子表,其中包含线程中的所有帖子。我需要对帖子中的顺序有一个概念,即我需要知道哪个帖子先出现,哪个后出现。 我的服务将在分布式环境中运行。 我不确定使用时
我正在 DynamoDB 上开发论坛。 有一个帖子表,其中包含线程中的所有帖子。我需要对帖子中的顺序有一个概念,即我需要知道哪个帖子先出现,哪个后出现。 我的服务将在分布式环境中运行。 我不确定使用时
在 Z3 中,它支持 String 和 Sequence。但是 Z3py 是否也支持它们,或者我们必须使用 Python 中的字符串或列表?从最新的版本来看,新版本好像确实支持了String和Sequ
我是 Clojure 世界的新手,我遇到了一个问题。我得到了一个 LazySeq,看起来像这样(实际上更长) values = (("Brand1" "0") ("Brand2" "15") ("Br
我正在开发一个用于文本生成的序列到序列模型 ( paper )。我没有在解码器端使用“教师强制”,即 t0 时解码器的输出被馈送到 t1 时解码器的输入。 现在,实际上,解码器(LSTM/GRU)的输
Rust 中的规则是什么,类似于这里描述的规则http://en.cppreference.com/w/cpp/language/eval_order对于 C++? 目前我凭经验发现, 1) 函数的参
我当前的代码: import re from Bio.Seq import Seq def check_promoter(binding_element,promoter_seq): promoter
您好,此代码旨在存储使用 open cv 绘制的矩形的坐标,并将结果编译为单个图像。 import numpy as np import cv2 im = cv2.imread('1.jpg') im
在我的程序中,我有一个正则表达式,它确保输入字符串至少有一个字母和一个数字字符,并且长度在 2 到 10 之间。 Pattern p = Pattern.compile("^(?=.*\\d)(?=.
我正在查看 Google 的免费机器学习速成类(class),并尝试根据他们类(class)的第一部分制作一个预测模型。但是,在输入函数中,有一个字典,我不断收到此错误, in my_input_fn
我想使用 Boost 的 any_range 来处理多个异构数据范围。我的数据范围类型称为 fusion vector ,例如: typedef vector TypeSequence 鉴于这样的类型
我正在使用 SimpleJdbcInsert 作为, SimpleJdbcInsert simpleJdbcInsert = new SimpleJdbcInsert(dataSource).with
我正在尝试通过从我的数据创建 .phy 文件来创建系统发育树。 我有一个数据框 ndf= ESV trunc 1 esv1 TACGTAGGTG... 2 esv2 TACGGAGGGT... 3 e
这可能真的很简单,但我正处于 Rx 学习曲线的底部。我花了几个小时阅读文章、观看视频和编写代码,但我似乎对一些看起来应该非常简单的事情有心理障碍。 我正在从串行端口收集数据。我已使用 Observab
我正在将一些模块从 v8 迁移到 v10,我有这个模型: class SearchInfoPartnerSeniat(models.TransientModel): _name = "search.i
我尝试添加一个新的“自定义”序列到我的Marten DB中,以获取新用户的用户ID(在注册过程中)。。后来,我能够访问下一个序列值,如下所示:。问题出在上面的代码中:在第一次运行时:将userid_s
我在 rosettacode 遇到了这个代码 my @pascal = [1], { [0, |$_ Z+ |$_, 0] } ... Inf; .say for @pascal[^4]; # ==>
我不明白为什么这个程序有效: my $supply = Supply.interval: 1; react { whenever $supply { put "Got $^a" }
我是一名优秀的程序员,十分优秀!