- android - 多次调用 OnPrimaryClipChangedListener
- android - 无法更新 RecyclerView 中的 TextView 字段
- android.database.CursorIndexOutOfBoundsException : Index 0 requested, 光标大小为 0
- android - 使用 AppCompat 时,我们是否需要明确指定其 UI 组件(Spinner、EditText)颜色
我无法理解为什么以下模型的权重越来越小,直到 NaN
在训练中。
模型如下:
def initialize_embedding_matrix(embedding_matrix):
embedding_layer = Embedding(
input_dim=embedding_matrix.shape[0],
output_dim=embedding_matrix.shape[1],
weights=[embedding_matrix],
trainable=True)
return embedding_layer
def get_divisor(x):
return K.sqrt(K.sum(K.square(x), axis=-1))
def similarity(a, b):
numerator = K.sum(a * b, axis=-1)
denominator = get_divisor(a) * get_divisor(b)
denominator = K.maximum(denominator, K.epsilon())
return numerator / denominator
def max_margin_loss(positive, negative):
loss_matrix = K.maximum(0.0, 1.0 + negative - Reshape((1,))(positive))
loss = K.sum(loss_matrix, axis=-1, keepdims=True)
return loss
def warp_loss(X):
z, positive_entity, negatives_entities = X
positiveSim = Lambda(lambda x: similarity(x[0], x[1]), output_shape=(1,), name="positive_sim")([z, positive_entity])
z_reshaped = Reshape((1, z.shape[1].value))(z)
negativeSim = Lambda(lambda x: similarity(x[0], x[1]), output_shape=(negatives_titles.shape[1].value, 1,), name="negative_sim")([z_reshaped, negatives_entities])
loss = Lambda(lambda x: max_margin_loss(x[0], x[1]), output_shape=(1,), name="max_margin")([positiveSim, negativeSim])
return loss
def mean_loss(y_true, y_pred):
return K.mean(y_pred - 0 * y_true)
def build_nn_model():
wl, tl = load_vector_lookups()
embedded_layer_1 = initialize_embedding_matrix(wl)
embedded_layer_2 = initialize_embedding_matrix(tl)
sequence_input_1 = Input(shape=(_NUMBER_OF_LENGTH,), dtype='int32',name="text")
sequence_input_positive = Input(shape=(1,), dtype='int32', name="positive")
sequence_input_negatives = Input(shape=(10,), dtype='int32', name="negatives")
embedded_sequences_1 = embedded_layer_1(sequence_input_1)
embedded_sequences_positive = Reshape((tl.shape[1],))(embedded_layer_2(sequence_input_positive))
embedded_sequences_negatives = embedded_layer_2(sequence_input_negatives)
conv_step1 = Convolution1D(
filters=1000,
kernel_size=5,
activation="tanh",
name="conv_layer_mp",
padding="valid")(embedded_sequences_1)
conv_step2 = GlobalMaxPooling1D(name="max_pool_mp")(conv_step1)
conv_step3 = Activation("tanh")(conv_step2)
conv_step4 = Dropout(0.2, name="dropout_mp")(conv_step3)
z = Dense(wl.shape[1], name="predicted_vec")(conv_step4) # activation="linear"
loss = warp_loss([z, embedded_sequences_positive, embedded_sequences_negatives])
model = Model(
inputs=[sequence_input_1, sequence_input_positive, sequence_input_negatives],
outputs=[loss]
)
model.compile(loss=mean_loss, optimizer=Adam())
return model
model = build_nn_model()
x, y_real, y_fake = load_x_y()
X_train = {
'text': x_train,
'positive': y_real_train,
'negatives': y_fake_train
}
model.fit(x=X_train, y=np.ones(len(x_train)), batch_size=10, shuffle=True, validation_split=0.1, epochs=10)
稍微描述一下模型:
wl
、 tl
),并使用这些值初始化 Keras 嵌入。sequence_input_1
以整数作为输入(单词索引。例如 [42, 32 .., 4]
)。在他们身上sequence.pad_sequences(X, maxlen=_NUMBER_OF_LENGTH)
用于具有固定长度。 sequence_input_positive
这是正输出和 sequence_input_negatives
的整数每个示例都是 N 个随机负输出(上面代码中的 10 个)。cosinus_similarity(positive_example, sequence_input_1)
之间的差异和cosinus_similarity(negative_example[i], sequence_input_1)
Adam优化器用于最小化损失。在训练该模型时,即使只有 20 个数据点,Convolution1D
中的权重也是如此。和Dense
变为 NaN。如果我添加更多数据点,嵌入权重也会变为 NaN。我可以观察到,随着模型的运行,权重变得越来越小,直到变为 NaN。值得注意的是,损失不会变为 NaN。当权重达到 NaN 时,损失为零。
我无法找出问题所在。
这是我到目前为止尝试过的:
SGD
优化器没有改变这里的行为。nan
值(value)观。np.linalg.norm
进行嵌入float64
转换预训练矩阵至float32
您在模型的架构中发现什么奇怪的地方吗?如果不是:我无法找到一种方法来调试架构,以理解为什么权重越来越小直到达到 NaN。当人们注意到这种行为时,他们是否正在采取一些步骤?
编辑:
通过使用 trainable=False
在嵌入中 nan
的这种行为没有观察到权重,并且训练似乎有顺利的结果。不过我希望嵌入是可训练的。那么当嵌入是可训练的时候为什么会出现这种行为呢?
编辑2:
使用trainable=True
并通过统一随机初始化权重embeddings_initializer='uniform'
训练很顺利。所以发生的原因是我的词嵌入。我检查了我预先训练的词嵌入,没有 NaN
值(value)观。我还对它们进行了标准化,以防万一这是造成这种情况的原因,但也不乏。无法思考为什么这些特定权重会产生这种行为。
编辑3:
造成这种情况的原因似乎是在 gensim 中训练的嵌入之一中的许多行都为零。例如。
[0.2, 0.1, .. 0.3],
[0.0, 0.0, .. 0.0],
[0.0, 0.0, .. 0.0],
[0.0, 0.0, .. 0.0],
[0.2, 0.1, .. 0.1]
找到它并不容易,因为嵌入的尺寸非常大。
如果有人提出类似的问题或想要回答上面提出的问题,我将保留这个问题:“当人们注意到这种行为时,他们是否正在使用一些步骤?”
最佳答案
通过您的编辑,发现问题变得更容易了。
这些零未改变地传递给 warp_loss
函数。经过卷积的部分最初保持不变,因为任何滤波器乘以零都会得到零,并且默认偏差初始值设定项也是'zeros'
。同样的想法适用于密集(过滤器 * 0 = 0 和偏差初始值设定项 = 'zeros')
到达这一行:返回分子/分母
并导致错误(除以零)
我在许多代码中看到添加 K.epsilon()
以避免这种情况是一种常见做法:
return numerator / (denominator + K.epsilon())
关于python - CNN 模型的权重变为非常小的值并且在 NaN 之后,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/46447882/
我的问题:非常具体。我正在尝试想出解析以下文本的最简单方法: ^^domain=domain_value^^version=version_value^^account_type=account_ty
好吧,这就是我的困境: 我正在为 Reddit 子版 block 开发常见问题解答机器人。我在 bool 逻辑方面遇到了麻烦,需要一双更有经验的眼睛(这是我在 Python 中的第一次冒险)。现在,该
它首先遍历所有 y 值,然后遍历所有 x 值。我需要 X 和 y 同时改变。 For x = 3 To lr + 1 For y = 2 To lr anyl.Cells(x, 1)
假设我有一个包含 2 列的 Excel 表格:单元格 A1 到 A10 中的日期和 B1 到 B10 中的值。 我想对五月日期的所有值求和。我有3种可能性: {=SUM((MONTH(A1:A10)=
如何转换 Z-score来自 Z-distribution (standard normal distribution, Gaussian distribution)到 p-value ?我还没有找到
我正在重写一些 Javascript 代码以在 Excel VBA 中工作。由于在这个网站上搜索,我已经设法翻译了几乎所有的 Javascript 代码!但是,有些代码我无法准确理解它在做什么。这是一
我遇到过包含日期格式的时间戳日期的情况。然后我想构建一个图表,显示“点击”项目的数量“每天”, //array declaration $array1 = array("Date" => 0); $a
我是scala的新手! 我的问题是,是否有包含成员的案例类 myItem:Option[String] 当我构造类时,我需要将字符串内容包装在: Option("some string") 要么 So
我正在用 PHP 创建一个登录系统。我需要用户使用他或她的用户名或电子邮件或电话号码登录然后使用密码。因为我知道在 Java 中我们会像 email==user^ username == user 这
我在 C++ 项目上使用 sqlite,但是当我在具有文本值的列上使用 WHERE 时出现问题 我创建了一个 sqlite 数据库: CREATE TABLE User( id INTEGER
当构造函数是显式时,它不用于隐式转换。在给定的代码片段中,构造函数被标记为 explicit。那为什么在 foo obj1(10.25); 情况下它可以工作,而在 foo obj2=10.25; 情况
我知道这是一个主观问题,所以如果需要关闭它,我深表歉意,但我觉得它经常出现,让我想知道是否普遍偏爱一种形式而不是另一种形式。 显然,最好的答案是“重构代码,这样你就不需要测试是否存在错误”,但有时没有
这两个 jQuery 选择器有什么区别? 以下是来自 w3schools.com 的定义: [attribute~=value] 选择器选择带有特定属性,其值包含特定字符串。 [attribute*=
为什么我们需要CSS [attribute|=value] Selector根本当 CSS3 [attribute*=value] Selector基本上完成相同的事情,浏览器兼容性几乎相似?是否存在
我正在解决 regx 问题。我已经有一个像这样的 regx [0-9]*([.][0-9]{2})。这是 amont 格式验证。现在,通过此验证,我想包括不应提供 0 金额。比如 10 是有效的,但
我正在研究计算机科学 A 考试的样题,但无法弄清楚为什么以下问题的正确答案是正确的。 考虑以下方法。 public static void mystery(List nums) { for (
好的,我正在编写一个 Perl 程序,它有一个我收集的值的哈希值(完全在一个完全独立的程序中)并提供给这个 Perl 脚本。这个散列是 (string,string) 的散列。 我想通过 3 种方式对
我有一个表数据如下,来自不同的表。仅当第三列具有值“债务”并且第一列(日期)具有最大值时,我才想从第四列中获取最大值。最终值基于 MAX(DATE) 而不是 MAX(PRICE)。所以用简单的语言来说
我有一个奇怪的情况,只有错误状态保存到数据库中。当“状态”应该为 true 时,我的查询仍然执行 false。 我有具有此功能的 Controller public function change_a
我有一个交易表(针对所需列进行了简化): id client_id value 1 1 200 2 2 150 3 1
我是一名优秀的程序员,十分优秀!