python - 处理我的神经网络模型产生的负值-6ren

python - 处理我的神经网络模型产生的负值

转载作者：行者123 更新时间：2023-11-30 08:57:17

我有一个简单的 nn 模型，如下所示

class TestRNN(nn.Module):
    def __init__(self, batch_size, n_steps, n_inputs, n_neurons, n_outputs):
        super(TestRNN, self).__init__()
        ...
        self.basic_rnn = nn.RNN(self.n_inputs, self.n_neurons)
        self.FC = nn.Linear(self.n_neurons, self.n_outputs)


    def forward(self, X):
        ...
        lstm_out, self.hidden = self.basic_rnn(X, self.hidden)
        out = self.FC(self.hidden)

        return out.view(-1, self.n_outputs)

我正在使用criterion = nn.CrossEntropyLoss()来计算我的错误。操作顺序如下:

# get the inputs
x, y = data

# forward + backward + optimize
outputs = model(x)
loss = criterion(outputs, y)

我的训练数据 x 已标准化，如下所示:

tensor([[[7.0711e-01, 7.0711e-01, 0.0000e+00,  ..., 0.0000e+00,
          0.0000e+00, 0.0000e+00],
         [2.6164e-02, 2.6164e-02, 0.0000e+00,  ..., 0.0000e+00,
          0.0000e+00, 1.3108e-05],
         [7.0711e-01, 7.0711e-01, 0.0000e+00,  ..., 0.0000e+00,
          0.0000e+00, 0.0000e+00],
         [9.5062e-01, 3.1036e-01, 0.0000e+00,  ..., 0.0000e+00,
          0.0000e+00, 0.0000e+00],
         [0.0000e+00, 1.3717e-05, 3.2659e-07,  ..., 0.0000e+00,
          0.0000e+00, 3.2659e-07]],

        [[5.1934e-01, 5.4041e-01, 6.8083e-06,  ..., 0.0000e+00,
          0.0000e+00, 6.8083e-06],
         [5.2340e-01, 6.0007e-01, 2.7062e-06,  ..., 0.0000e+00,
          0.0000e+00, 2.7062e-06],
         [8.1923e-01, 5.7346e-01, 0.0000e+00,  ..., 0.0000e+00,
          0.0000e+00, 0.0000e+00],
         [7.0711e-01, 7.0711e-01, 0.0000e+00,  ..., 0.0000e+00,
          0.0000e+00, 0.0000e+00],
         [7.0711e-01, 7.0711e-01, 0.0000e+00,  ..., 0.0000e+00,
          0.0000e+00, 0.0000e+00]],

        [[7.0711e-01, 7.0711e-01, 0.0000e+00,  ..., 0.0000e+00,
          0.0000e+00, 0.0000e+00],
         [7.0714e-01, 7.0708e-01, 0.0000e+00,  ..., 0.0000e+00,
          0.0000e+00, 0.0000e+00],
         [7.0711e-01, 7.0711e-01, 0.0000e+00,  ..., 0.0000e+00,
          0.0000e+00, 0.0000e+00],
         [7.0711e-01, 7.0711e-01, 0.0000e+00,  ..., 0.0000e+00,
          0.0000e+00, 7.0407e-06],
         [7.0711e-01, 7.0711e-01, 0.0000e+00,  ..., 0.0000e+00,
          0.0000e+00, 0.0000e+00]],

        ...,

        [[7.0711e-01, 7.0711e-01, 0.0000e+00,  ..., 0.0000e+00,
          0.0000e+00, 0.0000e+00],
         [7.1852e-01, 2.3411e-02, 0.0000e+00,  ..., 0.0000e+00,
          0.0000e+00, 0.0000e+00],
         [7.0775e-01, 7.0646e-01, 0.0000e+00,  ..., 0.0000e+00,
          0.0000e+00, 3.9888e-06],
         [7.0711e-01, 7.0711e-01, 0.0000e+00,  ..., 0.0000e+00,
          0.0000e+00, 0.0000e+00],
         [7.0711e-01, 7.0711e-01, 0.0000e+00,  ..., 0.0000e+00,
          0.0000e+00, 0.0000e+00]],

        [[5.9611e-01, 5.8796e-01, 0.0000e+00,  ..., 0.0000e+00,
          0.0000e+00, 0.0000e+00],
         [7.0711e-01, 7.0710e-01, 0.0000e+00,  ..., 0.0000e+00,
          0.0000e+00, 0.0000e+00],
         [7.7538e-01, 2.4842e-01, 1.7787e-06,  ..., 0.0000e+00,
          0.0000e+00, 1.7787e-06],
         [7.0711e-01, 7.0711e-01, 0.0000e+00,  ..., 0.0000e+00,
          0.0000e+00, 0.0000e+00],
         [7.0711e-01, 7.0711e-01, 0.0000e+00,  ..., 0.0000e+00,
          0.0000e+00, 0.0000e+00]],

        [[5.2433e-01, 5.2433e-01, 0.0000e+00,  ..., 0.0000e+00,
          0.0000e+00, 0.0000e+00],
         [7.0711e-01, 7.0711e-01, 0.0000e+00,  ..., 0.0000e+00,
          0.0000e+00, 0.0000e+00],
         [1.3155e-01, 1.3155e-01, 0.0000e+00,  ..., 8.6691e-02,
          9.7871e-01, 0.0000e+00],
         [7.4412e-01, 6.6311e-01, 0.0000e+00,  ..., 0.0000e+00,
          0.0000e+00, 0.0000e+00],
         [7.0711e-01, 7.0711e-01, 0.0000e+00,  ..., 0.0000e+00,
          0.0000e+00, 9.6093e-07]]])

传递给标准函数的典型输出和y如下所示:

tensor([[-0.0513],
        [-0.0445],
        [-0.0514],
        [-0.0579],
        [-0.0539],
        [-0.0323],
        [-0.0521],
        [-0.0294],
        [-0.0372],
        [-0.0518],
        [-0.0516],
        [-0.0501],
        [-0.0312],
        [-0.0496],
        [-0.0436],
        [-0.0514],
        [-0.0518],
        [-0.0465],
        [-0.0530],
        [-0.0471],
        [-0.0344],
        [-0.0502],
        [-0.0536],
        [-0.0594],
        [-0.0356],
        [-0.0371],
        [-0.0513],
        [-0.0528],
        [-0.0621],
        [-0.0404],
        [-0.0403],
        [-0.0562],
        [-0.0510],
        [-0.0580],
        [-0.0516],
        [-0.0556],
        [-0.0063],
        [-0.0459],
        [-0.0494],
        [-0.0460],
        [-0.0631],
        [-0.0525],
        [-0.0454],
        [-0.0509],
        [-0.0522],
        [-0.0426],
        [-0.0527],
        [-0.0423],
        [-0.0572],
        [-0.0308],
        [-0.0452],
        [-0.0555],
        [-0.0479],
        [-0.0513],
        [-0.0514],
        [-0.0498],
        [-0.0514],
        [-0.0471],
        [-0.0505],
        [-0.0467],
        [-0.0485],
        [-0.0520],
        [-0.0517],
        [-0.0442]], device='cuda:0', grad_fn=<ViewBackward>)
tensor([0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
        0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0,
        0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0], device='cuda:0')

当应用该标准时，我收到以下错误(使用 CUDA_LAUNCH_BLOCKING=1 运行):

/opt/conda/conda-bld/pytorch_1549628766161/work/aten/src/THCUNN/ClassNLLCriterion.cu:105: void cunn_ClassNLLCriterion_updateOutput_kernel(Dtype *, Dtype *, Dtype *, long *, Dtype *, int, int, int, int, long) [with Dtype = float, Acctype = float]: block: [0,0,0], thread: [7,0,0] Assertion `t >= 0 && t < n_classes` failed.
/opt/conda/conda-bld/pytorch_1549628766161/work/aten/src/THCUNN/ClassNLLCriterion.cu:105: void cunn_ClassNLLCriterion_updateOutput_kernel(Dtype *, Dtype *, Dtype *, long *, Dtype *, int, int, int, int, long) [with Dtype = float, Acctype = float]: block: [0,0,0], thread: [20,0,0] Assertion `t >= 0 && t < n_classes` failed.
THCudaCheck FAIL file=/opt/conda/conda-bld/pytorch_1549628766161/work/aten/src/THCUNN/generic/ClassNLLCriterion.cu line=111 error=59 : device-side assert triggered

我的模型输出负值导致出现上述错误消息，我该如何解决此问题？

最佳答案

TL;DR

您有两个选择:

创建 outputs 的第二个维度尺寸为 2 而不是 1。
使用nn.BCEWithLogitsLoss而不是nn.CrossEntropyLoss

<小时/>

我认为问题不在于负数。其形状为outputs .

查看您的数组 y ，我看到你有 2 个不同的类(也许更多，但我们假设它是 2 个)。这意味着 outputs 的最后一个维度应该是2。原因是outputs需要为 2 个不同类别中的每一个类别给出“分数”(请参阅 the documentation )。分数可以是负数、零或正数。但你的形状outputs是 [64,1] ，而不是[64,2]根据需要。

nn.CrossEntropyLoss() 的步骤之一目标是将这些分数转换为两个类别的概率分布。这是使用 softmax 运算完成的。然而，在进行二元分类时(即只有 2 个类的分类，如我们当前的情况)，还有另一种选择:仅给出一个类的分数，使用 sigmoid 函数将其转换为该类的概率，然后然后对此执行“1-p”以获得其他类别的概率。此选项意味着 outputs只需要为两个类别中的一个给出分数，就像您当前的情况一样。要选择此选项，您需要更改 nn.CrossEntropyLoss与 nn.BCEWithLogitsLoss 。然后您可以传递给它 outputs和y正如您当前所做的那样(但请注意， outputs 的形状需要恰好是 y 的形状，因此在您的示例中，您需要传递 outputs[:,0] 而不是 outputs 。此外，您还需要转换y 到 float : y.float() 。因此调用是 criterion(outputs[:,0], y.float()) )

关于python - 处理我的神经网络模型产生的负值，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/54870863/

文章推荐： javascript - 在生成的 html 中为标签设置默认的点击行为

文章推荐： javascript - 为什么onsubmit函数好像没有执行？

android - java.lang.ClassNotFoundException : android. 网络.网络
这与 Payubiz payment gateway sdk 关系不大一体化。但是，主要问题与构建项目有关。每当我们尝试在模拟器上运行应用程序时。我们得到以下失败: What went wrong:
Docker 链接容器、Docker 网络、Compose 网络 - 我们现在应该如何 'link' 容器
我有一个现有的应用程序，其中包含在同一主机上运行的 4 个 docker 容器。它们已使用 link 命令链接在一起。然而，在 docker 升级后，link 行为已被弃用，并且似乎有所改变。我们现
网络:传输层和网络层之间的区别
在 Internet 模型中有四层:链路 -> 网络 -> 传输 -> 应用程序。我真的不知道网络层和传输层之间的区别。当我读到: Transport layer: include congesti
python ，网络
很难说出这里要问什么。这个问题模棱两可、含糊不清、不完整、过于宽泛或夸夸其谈，无法以目前的形式得到合理的回答。如需帮助澄清此问题以便重新打开，visit the help center . 关闭 1
初始 http【网络】
前言：生活中，我们在上网时，打开一个网页，就可以看到网址，如下： https😕/xhuahua.blog.csdn.net/ 访问网站使用的协议类型：https(基于 http 实现的，只不过在
171、HBase性能调整：网络
网络避免网络问题降低Hadoop和HBase性能的最重要因素可能是所使用的交换硬件，在项目范围的早期做出的决策可能会导致群集大小增加一倍或三倍（或更多）时出现重大问题。需要考虑的重要事项：
189、故障排除和调试HBase：网络
网络网络峰值如果您看到定期的网络峰值，您可能需要检查compactionQueues以查看主要压缩是否正在发生。有关管理压缩的更多信息，请参阅管理压缩部分的内容。 Loopback IP
NoFlo - 如何启动图形/网络
Pure Data 有一个 loadbang 组件，它按照它说的做:当图形开始运行时发送一个 bang。 NoFlo 的 core/Kick 在其 IN 输入被击中之前不会发送其数据，并且您无法在 n
kubernetes - Minikube 网络
我有一台 Linux 构建机器，我也安装了 minikube。在 minikube 实例中，我安装了 artifactory，我将使用它来存储各种构建工件我现在希望能够在我的开发机器上做一些工作(这
http - 我需要多少种视频格式？ - 网络
我想知道每个视频需要多少种不同的格式才能支持所有主要设备？在我考虑的主要设备中:安卓手机 + iPhone + iPad . 对具有不同比特率的视频进行编码也是一种好习惯吗？那里有太多相互矛盾的信
Flutter 网络 flavor
我有一个使用 firebase 的 Flutter Web 应用程序，我有两个 firebase 项目(dev 和 prod)。我想为这个项目设置 Flavors(只是网络没有移动)。在移动端，我
passwords - 传输前对密码进行哈希处理？ (网络)
我正在读这篇文章Ars article关于密码安全，它提到有一些网站“在传输之前对密码进行哈希处理”？现在，假设这不使用 SSL 连接 (HTTPS)，a.这真的安全吗？ b．如果是的话，你会如何在
networking - docker 网络
我试图了解以下之间的关系: eth0在主机上；和 docker0桥;和 eth0每个容器上的接口(interface) 据我了解，Docker: 创建一个 docker0桥接，然后为其分配一个与主机上
java - 不可序列化对象 - 网络
我需要编写一个java程序，通过网络将对象发送到客户端程序。问题是一些需要发送的对象是不可序列化的。如何最好地解决这个问题？最佳答案发送在客户端重建对象所需的数据。关于java - 不可序列化对
Java 网络，不仅仅是简单的聊天室
所以我最近关注了this有关用 Java 制作基本聊天室的教程。它使用多线程，是一个“面向连接”的服务器。我想知道如何使用相同的 Sockets 和 ServerSockets 来发送对象的 3d 位
java图像接收(网络)服务器
我想制作一个系统，其中java客户端程序将图像发送到中央服务器。中央服务器保存它们并运行使用这些图像的网站。我应该如何发送图像以及如何接收它们？我可以使用同一个网络服务器来接收和显示网站吗？最佳答
email - 网络::SMTPAuthenticationError
我正在尝试设置我的 rails 4 应用程序，以便它发送电子邮件。有谁知道我为什么会得到: Net::SMTPAuthenticationError 534-5.7.9 Application-spe
Java 网络 - 连接两台计算机
我正在尝试编写一个简单的客户端-服务器程序，它将客户端计算机连接到服务器计算机。到目前为止，我的代码在本地主机上运行良好，但是当我将客户端代码中的 IP 地址替换为服务器计算机的本地 IP 地址时，
Java 网络 - 在同一线程中的不同端口上并行启动多个服务器套接字
我需要在服务器上并行启动多个端口，并且所有服务器套接字都应在 socket.accept() 上阻塞。同一个线程需要启动客户端套接字(许多)来连接到特定的 ServerSocket。这能实现吗？
java - 网络/数据库作业的足够线程数
我的工作执行了大约 10000 次以下任务: 1) HTTP 请求(1 秒) 2)数据转换(0.3秒) 3)数据库插入(0.7秒) 每次迭代的总时间约为 2 秒，分布如上所述。我想做多任务处理，但我

行者123

个人简介

我是一名优秀的程序员,十分优秀！

作者热门文章

滴滴打车优惠券免费领取

全站热门文章

首页

博学

6Ren·AI

商城

python - 处理我的神经网络模型产生的负值