python - Tensorflow 2.2.0 错误 : [Predictions must be > 0] [Condition x >= y did not hold element-wise:] while using Bidirectional LSTM layer-6ren

python - Tensorflow 2.2.0 错误 : [Predictions must be > 0] [Condition x >= y did not hold element-wise:] while using Bidirectional LSTM layer

转载作者：行者123 更新时间：2023-12-04 04:31:15

在处理命名实体识别任务时，我收到以下错误消息:

tensorflow.python.framework.errors_impl.InvalidArgumentError:  assertion failed: [predictions must be >= 0] [Condition x >= y did not hold element-wise:] [x (bidirectional_lstm_model/time_distributed/Reshape_1:0) = ] [[[-0.100267865 -0.104010895 0.04090859...]]...] [y (Cast_2/x:0) = ] [0]
     [[{{node assert_greater_equal/Assert/AssertGuard/else/_1/Assert}}]] [Op:__inference_train_function_6216]
Function call stack:
train_function

我该如何解决这个问题？我检查了我的输入 train_x和 train_y张量，它们看起来很好(最后提供了一些示例)。
我最初使用的是条件随机场解码器。我用一个 Dense 层代替它，看看是否会改变错误消息。错误仍然相同，并且在某种程度上与模型的 RNN 组件有关。
一般来说，您使用什么策略从 TF 的内部深处解决此类错误？我尝试在 PyCharm 上设置调试 session 并跳过一堆 TF 文件，但没有学习任何关于如何解决我的问题的有用信息。
以下是我的网络架构:

Model: "bidirectional_lstm_model"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
encoder_input (InputLayer)   [(None, None)]            0         
_________________________________________________________________
encoder_embedding (Embedding (None, None, 300)         2013300   
_________________________________________________________________
encoder_bidirectional_rnn (B (None, None, 32)          40576     
_________________________________________________________________
time_distributed (TimeDistri (None, None, 25)          825       
=================================================================
Total params: 2,054,701
Trainable params: 41,401
Non-trainable params: 2,013,300
_________________________________________________________________

以上 + 更多细节(损失、优化器等):

# Create model
encoder_input = keras.Input(shape=(None,), name='encoder_input')
encoder_embedding = layers.Embedding(input_dim=input_vocabulary,
                                     output_dim=embedding_vector_len,
                                     embeddings_initializer=tf.keras.initializers.Constant(embedding_matrix),
                                     trainable=False, name='encoder_embedding')(encoder_input)
encoder_rnn = layers.LSTM(16, return_sequences=True, name='encoder_rnn')
encoder_bidirectional_rnn = layers.Bidirectional(encoder_rnn, name='encoder_bidirectional_rnn')(encoder_embedding)
decoder_dense = layers.TimeDistributed(layers.Dense(number_of_tags, name='decoder_dense'))(encoder_bidirectional_rnn)
model = keras.Model(inputs=encoder_input, outputs=decoder_dense, name='bidirectional_lstm_model')
model.summary()

metrics_precision = tf.keras.metrics.Precision()
metrics_recall = tf.keras.metrics.Recall()
model.compile(
    loss=tf.keras.losses.categorical_crossentropy,
    optimizer='adam',
    metrics=[metrics_precision, metrics_recall]
)

这是我的 train_x和 train_y数组看起来像:

# Shapes
train_x.shape  # (9775, 47)  (np.ndarray type)
train_y.shape  # TensorShape([9775, 47, 25])  (Obtained from tf.one_hot)

# Sample (Zero-padded from the right)
train_x[0, :]

# array([4917, 2806, 6357, 2287, 6059,    0,    0,    0,    0,    0,    0,
#      0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,
#      0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,
#      0,    0,    0,    0,    0,    0,    0,    0,    0,    0,    0,
#      0,    0,    0])

train_y[0, :, :]

# array([[0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 1.],
#   [0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 1.],
#   [0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 1.],
#   [1., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.],  # Non "O" tag
#   [0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 1., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.],  # Non "O" tag
#   [0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 1.],
#   [0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 1.],
#   [0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 1.],
#   [0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 1.],
#   [0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 1.],
#   [0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 1.],
#   [0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 1.],
#   [0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 1.],
#   [0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 1.],
#   [0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 1.],
#   [0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 1.],
#   [0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 1.],
#   [0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 1.],
#   [0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 1.],
#   [0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 1.],
#   [0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 1.],
#   [0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 1.],
#   [0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 1.],
#   [0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 1.],
#   [0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 1.],
#   [0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 1.],
#   [0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 1.],
#   [0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 1.],
#   [0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 1.],
#   [0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 1.],
#   [0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 1.],
#   [0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 1.],
#   [0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 1.],
#   [0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 1.],
#   [0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 1.],
#   [0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 1.],
#   [0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 1.],
#   [0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 1.],
#   [0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 1.],
#   [0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 1.],
#   [0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 1.],
#   [0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 1.],
#   [0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 1.],
#   [0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 1.],
#   [0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 1.],
#   [0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 1.],
#   [0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 1.]], dtype=float32)

最佳答案

你错过了最后一层激活:

decoder_dense = layers.TimeDistributed(layers.Dense(number_of_tags, name='decoder_dense'))(encoder_bidirectional_rnn)

你应该指定你想要一个 softmax，将激活保留为默认值实际上是一个线性激活，这意味着你可以有任何值，因此是负值。您应该按如下方式创建最后一个 Dense 层:

decoder_dense = layers.TimeDistributed(layers.Dense(number_of_tags, activation='softmax', name='decoder_dense'))(encoder_bidirectional_rnn)

关于python - Tensorflow 2.2.0 错误 : [Predictions must be > 0] [Condition x >= y did not hold element-wise:] while using Bidirectional LSTM layer，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/62606345/

文章推荐： django - Visual Studio 代码中的自动完成 django

文章推荐： robotframework - 循环遍历 RobotFramework 中的文件内容

文章推荐： google-bigquery - 如何规避 BigQuery 的 20 个并发查询限制？

google-prediction - Google Prediction API的用例
这里有没有人在使用Google Prediction API？为了什么？它“起作用”了吗？最佳答案如果您正在寻找实际案例，请查看此案例automatically assigns priority
R编程: predict(), "prediction"和 "confidence"吗？
无论如何，学习R ..: 在简单的x和y回归中，我输入: predict(data1.lm, interval="prediction") 和 predict(data1.lm, interval="
r - 插入符号 : Attempt to Predict but prediction row differs
我创建并调整了多个模型，但在尝试预测它们时遇到了问题。我首先按如下方式运行代码来调整 LDA 模型。 library(MASS) library(caret) library(randomForest
r - R 中的 predict 和 glm.predict 错误
问题我在 R 中训练了一个线性回归来预测 this.target来自 city , 数据框中的变量 data .这个训练是在数据的一个子集上完成的，它由 train.index 指定。 . mode
grpc - tensorflow 服务示例中的stub.Predict.future 和stub.Predict 有什么区别？
我正在检查 tf-serving 示例，发现 inception_client.py mnist_client.py 时使用 result = Stub.Predict(request, 10.0)使
python - 机器学习引擎 : Prediction Error while executing local predict command
我已在 Google ML Engine 中上传了该模型的一个版本，其中包含 saved_model.pb 和一个变量文件夹。当我尝试执行命令时: gcloud ml-engine local pre
python - key 错误 : 'predictions' When use SimpleSeq2SeqPredictor to predict string
请先在我们的 GitHub 存储库中搜索类似问题。如果您找不到类似的示例，您可以使用以下模板: 系统(请填写以下信息): - 操作系统:Ubuntu 18.04 - Python版本:3.6.7 -
algorithm - 解决 LL(1) 中的 PREDICT/PREDICT 冲突
我正在研究一个简单的 LL(1) 解析器生成器，我遇到了给定某些输入语法的 PREDICT/PREDICT 冲突问题。例如，给定如下输入语法: E → E + E | P P → 1 我可以
r - `lm` : how to get prediction variance of sum of predicted values 的线性模型
我正在对具有多个预测变量的线性模型的预测值求和，如下例所示，并希望计算该总和的组合方差、标准误差和可能的置信区间。 lm.tree <- lm(Volume ~ poly(Girth,2), data
r - 需要知道 R 中 predict() 和 predict.lm() 的区别
我是 R 和统计学的新手。所以这个问题可能有点愚蠢，但我想知道 R 中的 predict() 和 predict.lm() 之间是否有任何区别？我认为它们是相同的，但如果它们是相同的，为什么会有两个不
r - UseMethod(“predict”)中的错误:没有适用于“predict”的适用方法应用于类“NULL”的对象
我尝试了针对this question而发布的答案，但是错误没有改变。我试图以相同的方式预处理训练集和测试集。它们来自两个不同的文件，我不确定我的老师是否会把我混合在一起，所以在拆分它们之前进行预处理
r - 对于 R 中的随机森林模型，predict() 函数和 model$predicted 有什么区别？
使用随机森林包:- #install.packages("randomForest") library(randomForest) 我使用在线代码在我的系统上运行随机森林。我得到了一个具有混淆矩阵和准
r - 使用方法("predict"): no applicable method for 'predict' applied to an object of class "train"
我有一个模型 (fit)，基于上个月之前的历史信息。现在我想使用我的模型来预测当月的情况。当我尝试调用以下代码时: predicted fit$modelInfo$label [1]“随机森林” 因此
Python 列表表示法，Numpy 数组表示法 : predictions[predictions < 1e-10] = 1e-10
我正在尝试找出应用于列表的操作。我有列表/数组名称预测并执行以下指令集。 predictions[predictions >> a = np.array([1,2,3,4,5]) #define ar
r - 循环中的 predict.lm()。警告 : prediction from a rank-deficient fit may be misleading
此 R 代码引发警告 # Fit regression model to each cluster y fit$rank 检查另一种方法是拥有比可用变量更多的参数: fit2 <- lm(y ~
r - 使用方法错误 ("predict"): no applicable method for 'predict' applied to an object of class "c(' double', 'numeric')
我不是 R 专家。我正在尝试计算多项式模型生成的偏差: f calc.bias(f, polydeg, x))。我使用的整个代码: library(PolynomF) f <- function(x)
android - OpenCV4Android FaceRecognizer.predict(Mat src, int[] labels, double[] confidence) 与 OpenCV FaceRecognizer.predict(Mat src)
谁能帮我解决我的问题？我似乎无法从互联网上得到任何答案。我一直在寻找一整天。所以这是我的问题。我正在使用 opencv4android 2.4.10 和 Android Studio 作为我的 IDE
prediction - 如何从姓氏中推测一个人的国籍？
我可以使用哪种方法来根据姓氏来预测某人的国籍？我有大量的文字和作者姓氏。我想确定哪些语言是由拉丁语使用者撰写的，哪些文本是由以英语为母语的使用者撰写的，以便研究一组中的某些写作风格模式是否与另一组中
prediction - 如何使我的推荐引擎适应冷启动？
我很好奇克服“冷启动”问题的方法/途径是什么，当新用户或项目进入系统时，由于缺乏有关该新实体的信息，因此进行推荐是一个问题。我可以考虑做一些基于预测的推荐(例如性别、国籍等)。最佳答案您可以冷启
prediction - 评估零膨胀负二项式模型的性能
我正在使用零膨胀负二项式模型(包:pscl)对电影通过联系网络(基于电话数据)的传播进行建模 m1 我的变量是: 因变量: 扩散链的长度(计数 [0,36]) 自变量: 电影特征(虚拟变量和连续变量

行者123

个人简介

我是一名优秀的程序员,十分优秀！

作者热门文章

滴滴打车优惠券免费领取

全站热门文章

首页

博学

6Ren·AI

商城

python - Tensorflow 2.2.0 错误 : [Predictions must be > 0] [Condition x >= y did not hold element-wise:] while using Bidirectional LSTM layer