- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我正在训练 Pytorch 模型。一段时间后,即使进行随机播放,除了一些有限张量之外,模型还只包含 NaN 值:
tensor([[[ nan, nan, nan, ..., nan, nan, nan],
[ nan, nan, nan, ..., nan, nan, nan],
[ nan, nan, nan, ..., nan, nan, nan],
...,
[ 1.4641, 0.0360, -1.1528, ..., -2.3592, -2.6310, 6.3893],
[ nan, nan, nan, ..., nan, nan, nan],
[ nan, nan, nan, ..., nan, nan, nan]]],
device='cuda:0', grad_fn=<AddBackward0>)
Detect_anomaly 函数返回:
File "TestDownload.py", line 701, in <module>
main(learning_rate, batch_size, epochs, experiment)
File "TestDownload.py", line 635, in main
train(model, device, train_loader, criterion, optimizer, scheduler, epoch, iter_meter, experiment)
File "TestDownload.py", line 486, in train
output = F.log_softmax(output, dim=2)
File "\lib\site-packages\torch\nn\functional.py", line 1672, in log_softmax
ret = input.log_softmax(dim)
(function _print_stack) Traceback (most recent call last):
File "TestDownload.py", line 701, in <module>
main(learning_rate, batch_size, epochs, experiment)
File "TestDownload.py", line 635, in main
train(model, device, train_loader, criterion, optimizer, scheduler, epoch, iter_meter, experiment)
File "TestDownload.py", line 490, in train
loss.backward()
File "\lib\site-packages\comet_ml\monkey_patching.py", line 317, in wrapper
return_value = original(*args, **kwargs)
File "\lib\site-packages\torch\tensor.py", line 245, in backward
torch.autograd.backward(self, gradient, retain_graph, create_graph, inputs=inputs)
File "\lib\site-packages\torch\autograd\__init__.py", line 145, in backward
Variable._execution_engine.run_backward(
RuntimeError: Function 'LogSoftmaxBackward' returned nan values in its 0th output.
引用下一行output = F.log_softmax(output, dim=2)
如果我只是使用 try- except 执行此操作,它会显示另一个错误:(当损失函数在包含 NaN 的张量上运行时)
[W ..\torch\csrc\autograd\python_anomaly_mode.cpp:104] Warning: Error detected in CtcLossBackward. Traceback of forward call that caused the error:
File "TestDownload.py", line 734, in <module>
# In[ ]:
File "TestDownload.py", line 667, in main
test(model, device, test_loader, criterion, epoch, iter_meter, experiment)
File "TestDownload.py", line 517, in train
loss.backward()
File "\lib\site-packages\torch\nn\modules\module.py", line 889, in _call_impl
result = self.forward(*input, **kwargs)
File "\lib\site-packages\torch\nn\modules\loss.py", line 1590, in forward
return F.ctc_loss(log_probs, targets, input_lengths, target_lengths, self.blank, self.reduction,
File "\lib\site-packages\torch\nn\functional.py", line 2307, in ctc_loss
return torch.ctc_loss(
(function _print_stack)
Traceback (most recent call last):
File "TestDownload.py", line 518, in train
File "\lib\site-packages\comet_ml\monkey_patching.py", line 317, in wrapper
return_value = original(*args, **kwargs)
File "\lib\site-packages\torch\tensor.py", line 245, in backward
torch.autograd.backward(self, gradient, retain_graph, create_graph, inputs=inputs)
File "\lib\site-packages\torch\autograd\__init__.py", line 145, in backward
Variable._execution_engine.run_backward(
RuntimeError: Function 'CtcLossBackward' returned nan values in its 0th output.
正常的张量应该是这样的:
tensor([[[-3.3904, -3.4340, -3.3703, ..., -3.3613, -3.5098, -3.4344]],
[[-3.3760, -3.2948, -3.2673, ..., -3.4039, -3.3827, -3.3919]],
[[-3.3857, -3.3358, -3.3901, ..., -3.4686, -3.4749, -3.3826]],
...,
[[-3.3568, -3.3502, -3.4416, ..., -3.4463, -3.4921, -3.3769]],
[[-3.4379, -3.3508, -3.3610, ..., -3.3707, -3.4030, -3.4244]],
[[-3.3919, -3.4513, -3.3565, ..., -3.2714, -3.3984, -3.3643]]],
device='cuda:0', grad_fn=<TransposeBackward0>)
如果是导入的,请注意双括号。
代码:
for batch_idx, _data in enumerate(train_loader):
spectrograms, labels, input_lengths, label_lengths = _data
spectrograms, labels = spectrograms.to(device), labels.to(device)
optimizer.zero_grad()
output = model(spectrograms)
output = F.log_softmax(output, dim=2)
output = output.transpose(0, 1) # (time, batch, n_class) # X, 1, 29
loss = criterion(output, labels, input_lengths, label_lengths)
loss.backward()
optimizer.step()
scheduler.step()
iter_meter.step()
此外,我尝试使用更大的批量大小(当前批量大小:1,更大的批量大小:6)运行它,并且它运行没有错误,直到我收到此错误的第一个时期的 40%。
Cuda run out of memory
此外,我尝试标准化数据torchaudio.transforms.MelSpectrogram(sample_rate=16000, n_mels=128, normalized=True)
将学习率从 5e-4 降低到 5e-5 也没有帮助。
其他信息:我的数据集包含近 300000 个 .wav 文件,并且在第一个时期的 3-10% 运行时出现错误。
感谢任何提示,我很乐意提交更多信息。
最佳答案
错误来源可能是损坏的输入或标签,其中包含 inf 值的 NaN。您可以使用以下命令检查张量中是否没有 NaN 值
torch.isnan(tensor).any()
或者张量中的所有值既不是 inf
也不是 NaN
torch.isfinite(tensor).all()
关于python - 为什么我的 Pytorch 张量大小会在一些批处理后发生变化并包含 NaN?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/67983039/
我有一个类似于以下的结构。 class A { string title; List bItem; } class B { int pric
本地流 和 远程流 两者都是“媒体流列表 ”。 本地流 包含“本地媒体流 ” 对象 但是,远程流 包含“媒体流 ” 对象 为什么差别这么大? 当我使用“本地流 “- 这个对我有用: localVide
我正在尝试将 8 列虚拟变量转换为 8 级排名的一列。 我试图用这个公式来做到这一点: =IF(OR(A1="1");"1";IF(OR(B1="1");"2";IF(OR(C1="1");"3";I
我正在使用面向对象编程在 Python 中创建一个有点复杂的棋盘游戏的实现。 我的问题是,许多这些对象应该能够与其他对象交互,即使它们不包含在其中。 例如Game是一个对象,其中包含PointTrac
有没有办法获取与 contains 语句匹配的最深元素? 基本上,如果我有嵌套的 div,我想要最后一个元素而不是父元素: Needle $("div:contains('Needle')")
出于某种原因,我无法在 Google 上找到答案!但是使用 SQL contains 函数我怎么能告诉它从字符串的开头开始,即我正在寻找等同于的全文 喜欢 'some_term%'。 我知道我可以使用
我正在尝试创建一个正则表达式来匹配具有 3 个或更多元音的字符串。 我试过这个: [aeiou]{3,} 但它仅在元音按顺序排列时才有效。有什么建议吗? 例如: 塞缪尔 -> 有效 琼 -> 无效 S
嘿所以我遇到了这样的情况,我从数据库中拉回一个客户,并通过包含的方式包含所有案例研究 return (from c in db.Clients.Include("CaseStudies")
如果关键字是子字符串,我无法弄清楚为什么这个函数不返回结果。 const string = 'cake'; const substring = 'cak'; console.log(string.in
我正在尝试将包含特定文本字符串的任何元素更改为红色。在我的示例中,我可以将子元素变为蓝色,但是我编写“替换我”行的方式有些不正确;红色不会发生变化。我注意到“contains”方法通常写为 :cont
我想问一下我是否可以要求/包含一个语法错误的文件,如果不能,则require/include返回一个值,这样我就知道所需/包含的文件存在语法错误并且不能被要求/包含? file.php语法错误 inc
我想为所有包含youtube链接的链接添加一个rel。 这就是我正在使用的东西-但它没有用。有任何想法吗? $('a [href:contains(“youtube.com”)]')。attr('re
我正在尝试在 Elasticsearch 中查询。除搜索中出现“/”外,此功能均正常运行。查询如下所示 GET styling_rules/product_line_filters/_search {
我正在开发名为eBookRepository的ASP.NET MVC应用程序,其中包含在线图书。 电子书具有自己的标题,作者等。因此,现在我正在尝试实现搜索机制。我必须使用Elasticsearch作
我已阅读Firebase Documentation并且不明白什么是 .contains()。 以下是文档中 Firebase 数据库的示例规则: { "rules": { "rooms"
我的问题是我可以给出条件[ 'BookTitleMaster.id' => $xtitid, ] 如下所示 $bbookinfs = $this->BookStockin->BookIssue->fi
我需要能够使用 | 检查模式在他们中。例如,对于像“dtest|test”这样的字符串,像 d*|*t 这样的表达式应该返回 true。 我不是正则表达式英雄,所以我只是尝试了一些事情,例如: Reg
我想创建一个正则表达式来不匹配某些单词... 我的字符:var test = "é123rr;and;ià456;or;456543" 我的正则表达式:test.match(\((?!and)(?!o
我在 XSLT 中有一个名为 variable_name 的变量,如果相关产品具有名称为 A 或 B 或两者均为 A & 的属性,我将尝试将其设置为 1 B.
您好,我想让接待员和经理能够查看工作类型和费率并随后进行更新。但是技术人员只能查看不能更新。该图是否有效? 我读到扩展用例是由发起基本用例的参与者发起的。我应该如何区分技术人员只能启动基本案例而不能启
我是一名优秀的程序员,十分优秀!