个人中心
文章发布
退出
作者热门文章
- ubuntu12.04环境下使用kvm ioctl接口实现最简单的虚拟机
- Ubuntu 通过无线网络安装Ubuntu Server启动系统后连接无线网络的方法
- 在Ubuntu上搭建网桥的方法
- ubuntu 虚拟机上网方式及相关配置详解
40
4
CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.
这篇CFSDN的博客文章pytorch 梯度NAN异常值的解决方案由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.
1、梯度爆炸 。
2、学习率太大 。
3、数据本身有问题 。
4、backward时，某些方法造成0在分母上， 如：使用方法sqrt() 。
定位造成nan的代码:
|
1
2
3
4
5
6
|
import
torch
# 异常检测开启
torch.autograd.set_detect_anomaly(
True
)
# 反向传播时检测是否有异常值，定位code
with torch.autograd.detect_anomaly():
loss.backward()
|
在构建网络框架后，运行代码，发现很多tensor出现了inf值或者nan,在很多博客上没有找到对应的解决方法，大部分是基于numpy写的，比较麻烦.
下面基于torch BIF函数实现替换这2个值.
|
1
2
3
4
5
6
7
|
a
=
torch.Tensor([[
1
,
2
, np.nan], [np.inf, np.nan,
4
], [
3
,
4
,
5
]])
a
Out[
158
]:
tensor([[
1.
,
2.
, nan],
[inf, nan,
4.
],
[
3.
,
4.
,
5.
]])
|
下面把nan值还为0:
|
1
2
3
4
5
6
7
|
a
=
torch.where(torch.isnan(a), torch.full_like(a,
0
), a)
a
Out[
160
]:
tensor([[
1.
,
2.
,
0.
],
[inf,
0.
,
4.
],
[
3.
,
4.
,
5.
]])
|
接着把inf替换为1:
|
1
2
3
4
5
6
7
|
a
=
torch.where(torch.isinf(a), torch.full_like(a,
0
), a)
a
Out[
162
]:
tensor([[
1.
,
2.
,
0.
],
[
0.
,
0.
,
4.
],
[
3.
,
4.
,
5.
]])
|
tips:对于某些tensor,可能已经开启了grad功能，需要把它先转为普通tensor（使用.data） 。
torch.where(condition,T,F) 函数有三个输入值， 。
第一个是判断条件， 。
第二个是符合条件的设置值， 。
第三个是不符合条件的设置值 。
|
1
2
3
4
5
6
7
8
9
10
|
torch.full_like(
input
, fill_value, …) 返回与
input
相同size，单位值为fill_value的矩阵
#如下面这个例子，a为3*3的tensor
b
=
torch.full_like(a,
0
,)
b
Out[
165
]:
tensor([[
0.
,
0.
,
0.
],
[
0.
,
0.
,
0.
],
[
0.
,
0.
,
0.
]])
|
以上为个人经验，希望能给大家一个参考，也希望大家多多支持我.
原文链接：https://blog.csdn.net/sini2018/article/details/112088749 。
最后此篇关于pytorch 梯度NAN异常值的解决方案的文章就讲到这里了,如果你想了解更多关于pytorch 梯度NAN异常值的解决方案的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。
40
4
0
我正在尝试调整 tf DeepDream 教程代码以使用另一个模型。现在当我调用 tf.gradients() 时: t_grad = tf.gradients(t_score, t_input)[0
考虑到 tensorflow 中 mnist 上的一个简单的小批量梯度下降问题(就像在这个 tutorial 中)，我如何单独检索批次中每个示例的梯度。 tf.gradients()似乎返回批次中所有
当我在 numpy 中计算屏蔽数组的梯度时 import numpy as np import numpy.ma as ma x = np.array([100, 2, 3, 5, 5, 5, 10,
除了数值计算之外，是否有一种快速方法来获取协方差矩阵(我的网络激活)的导数？ 我试图将其用作深度神经网络中成本函数中的惩罚项，但为了通过我的层反向传播误差，我需要获得导数。 在Matlab中，如果“a
我有一个计算 3D 空间标量场值的函数，所以我为它提供 x、y 和 z 坐标(由 numpy.meshgrid 获得)的 3D 张量，并在各处使用元素运算。这按预期工作。 现在我需要计算标量场的梯度。
我正在使用内核密度估计 (KDE) ( http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.gaussian_kde.htm
我对 tensorflow gradient documentation 中的示例感到困惑用于计算梯度。 a = tf.constant(0.) b = 2 * a g = tf.gradients(
我有一个 softmax 层(只有激活本身，没有将输入乘以权重的线性部分)，我想对其进行向后传递。 我找到了很多关于 SO 的教程/答案来处理它，但它们似乎都使用 X 作为 (1, n_inputs)
仅供引用，我正在尝试使用 Tensorflow 实现梯度下降算法。 我有一个矩阵X [ x1 x2 x3 x4 ] [ x5 x6 x7 x8 ] 我乘以一些特征向量 Y 得到 Z [ y
我目前有一个由几百万个不均匀分布的粒子组成的体积，每个粒子都有一个属性(对于那些好奇的人来说是潜在的)，我想为其计算局部力(加速度)。 np.gradient 仅适用于均匀间隔的数据，我在这里查看:S
我正在寻找有关如何实现 Gradient (steepest) Descent 的建议在 C 中。我正在寻找 f(x)=||Ax-y||^2 的最小值，其中给出了 A(n,n) 和 y(n)。 这在
我正在查看 SVM 损失和导数的代码，我确实理解了损失，但我无法理解如何以矢量化方式计算梯度 def svm_loss_vectorized(W, X, y, reg): loss = 0.0 dW
我正在寻找一种有效的方法来计算 Julia 中多维数组的导数。准确地说，我想要一个等效的 numpy.gradient在 Julia 。但是，Julia 函数 diff : 仅适用于二维数组 沿微分维
我在cathesian 2D 系统中有两个点，它们都给了我向量的起点和终点。现在我需要新向量和 x 轴之间的角度。 我知道梯度 = (y2-y1)/(x2-x1) 并且我知道角度 = arctan(g
我有一个 2D 数组正弦模式，想要绘制该函数的 x 和 y 梯度。我有一个二维数组 image_data : def get_image(params): # do some maths on
假设我有一个针对 MNIST 数据的简单 TensorFlow 模型，如下所示 import tensorflow as tf from tensorflow.examples.tutorials.m
我想查看我的 Tensorflow LSTM 随时间变化的梯度，例如，绘制从 t=N 到 t=0 的梯度范数。问题是，如何从 Tensorflow 中获取每个时间步长的梯度？ 最佳答案 在图中定义:
我有一个简单的神经网络，我试图通过使用如下回调使用张量板绘制梯度: class GradientCallback(tf.keras.callbacks.Callback): console =
在CIFAR-10教程中，我注意到变量被放置在CPU内存中，但它在cifar10-train.py中有说明。它是使用单个 GPU 进行训练的。 我很困惑..图层/激活是否存储在 GPU 中？或者，梯度
我有一个 tensorflow 模型，其中层的输出是二维张量，例如 t = [[1,2], [3,4]] . 下一层需要一个由该张量的每一行组合组成的输入。也就是说，我需要把它变成t_new = [[
我是一名优秀的程序员,十分优秀！