- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
假设我有一个向量 a
,其索引向量 b
的长度相同。索引范围为0~N-1,对应N组。如何在没有 for 循环的情况下对每个组执行 softmax?
我在这里进行某种注意力操作。每个组的数字都不相同,所以我无法将 a
reshape 为矩阵并在标准 Softmax()
中使用 dim
API。
玩具示例:
a = torch.rand(10)
a: tensor([0.3376, 0.0557, 0.3016, 0.5550, 0.5814, 0.1306, 0.2697, 0.9989, 0.4917,
0.6306])
b = torch.randint(0,3,(1,10), dtype=torch.int64)
b: tensor([[1, 2, 0, 2, 2, 0, 1, 1, 1, 1]])
我想像这样做softmax
for index in range(3):
softmax(a[b == index])
但没有 for 循环以节省时间。
最佳答案
也许这个答案必须根据对我的评论的潜在回应略有改变,但我只是继续前进并投入我对 Softmax
的两分钱。
一般来说,softmax 的公式在 PyTorch documentation 中有很好的解释。 ,我们可以看到这是当前值的指数,除以所有类的总和。
这样做的原因是基于概率论,可能有点超出我的舒适范围,但本质上它可以帮助您维护一个相当简单的反向传播导数,当它与一种称为“交叉熵损失”的流行损失策略结合使用时(CE)(参见 PyTorch 中的相应函数 here 。
此外,您还可以在 CE 的描述中看到它自动组合了两个函数,即 softmax 函数的(数值稳定的)版本,以及负对数似然损失(NLLL ).
现在,回到您最初的问题,并希望能解决您的问题:
为了这个问题——以及你提出问题的方式——你似乎在玩流行的 MNIST handrwitten 数字数据集,我们想在其中预测你当前输入图像的一些值。
我还假设您的输出 a
将在某个时候成为神经网络层的输出。这是否被压缩到特定范围并不重要(例如,通过应用某种形式的激活函数),因为 softmax 基本上是一个归一化。具体来说,如前所述,它将为我们提供所有预测值的某种分布形式,并且所有类别的总和为 1。为此,我们可以简单地应用类似
soft_a = softmax(a, dim=0) # otherwise throws error if we don't specify axis
print(torch.sum(soft_a)) # should return "Tensor(1.)"
现在,如果我们假设您想做“经典”MNIST 示例,您可以使用 argmax()
函数来预测您的系统认为哪个值是正确答案,并计算基于此的错误,例如,使用 nn.NLLLoss()
函数。
如果您确实要预测单个输出中每个位置的值,则您必须对此略有不同。
首先,softmax()
在这里不再有意义,因为您正在计算概率分布跨多个输出,除非您相当确定它们的分布取决于以一种非常具体的方式相互交流,我认为这里不是这种情况。
此外,请记住,您随后要计算成对损失,即输出的每个索引的损失。为此特定目的想到的功能是 nn.BCELoss()
,计算交叉熵的二值化(逐元素)版本。为此,您可以简单地“支持”您的原始预测张量 a
,以及您的基本事实张量 b
。一个最小的例子如下所示:
bce = torch.nn.BCELoss(reduction="none") # to keep losses for each element separate
loss = bce(a,b) # returns tensor with respective pairwise loss
如果您对单个损失感兴趣,您显然可以使用 BCELoss
和不同的 reduction
参数,如文档中所述。如果我可以为您澄清部分答案,请告诉我。
编辑:这里还有一点要记住:BCELoss()
要求您输入可能接近您想要预测的值的值。如果您首先将值输入激活函数(例如 sigmoid 或 tanh),这尤其是一个问题,然后激活函数永远不会达到您想要预测的值,因为它们受区间限制!
关于parallel-processing - Pytorch softmax沿着不同的掩码没有for循环,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/54284077/
我有 table 像这样 -------------------------------------------- id size title priority
我的应用在不同的 Activity (4 个 Activity )中仅包含横幅广告。所以我的疑问是, 我可以对所有横幅广告使用一个广告单元 ID 吗? 或者 每个 Activity 使用不同的广告单元
我有任意(但统一)数字列表的任意列表。 (它们是 n 空间中 bin 的边界坐标,我想绘制其角,但这并不重要。)我想生成所有可能组合的列表。所以:[[1,2], [3,4],[5,6]] 产生 [[1
我刚刚在学校开始学习 Java,正在尝试自定义控件和图形。我目前正在研究图案锁,一开始一切都很好,但突然间它绘制不正确。我确实更改了一些代码,但是当我看到错误时,我立即将其更改回来(撤消,ftw),但
在获取 Distinct 的 Count 时,我在使用 Group By With Rollup 时遇到了一个小问题。 问题是 Rollup 摘要只是所有分组中 Distinct 值的总数,而不是所有
这不起作用: select count(distinct colA, colB) from mytable 我知道我可以通过双选来简单地解决这个问题。 select count(*) from (
这个问题在这里已经有了答案: JavaScript regex whitespace characters (5 个回答) 2年前关闭。 你能解释一下为什么我会得到 false比较 text ===
这个问题已经有答案了: 奥 git _a (56 个回答) 已关闭 9 年前。 我被要求用 Javascript 编写一个函数 sortByFoo 来正确响应此测试: // Does not cras
所以,我不得不说,SQL 是迄今为止我作为开发人员最薄弱的一面。也许我想要完成的事情很简单。我有这样的东西(这不是真正的模型,但为了使其易于理解而不浪费太多时间解释它,我想出了一个完全模仿我必须使用的
这个问题在这里已经有了答案: How does the "this" keyword work? (22 个回答) 3年前关闭。 简而言之:为什么在使用 Objects 时,直接调用的函数和通过引用传
这个问题在这里已经有了答案: 关闭 12 年前。 Possible Duplicate: what is the difference between (.) dot operator and (-
我真的不明白这里发生了什么但是: 当我这样做时: colorIndex += len - stopPos; for(int m = 0; m < len - stopPos; m++) { c
思考 MySQL 中的 Group By 函数的最佳方式是什么? 我正在编写一个 MySQL 查询,通过 ODBC 连接在 Excel 的数据透视表中提取数据,以便用户可以轻松访问数据。 例如,我有:
我想要的SQL是这样的: SELECT week_no, type, SELECT count(distinct user_id) FROM group WHERE pts > 0 FROM bas
商店表: +--+-------+--------+ |id|name |date | +--+-------+--------+ |1 |x |Ma
对于 chrome 和 ff,当涉及到可怕的 ie 时,这个脚本工作完美。有问题 function getY(oElement) { var curtop = 0; if (oElem
我现在无法提供代码,因为我目前正在脑海中研究这个想法并在互联网上四处乱逛。 我了解了进程间通信和使用共享内存在进程之间共享数据(特别是结构)。 但是,在对保存在不同 .c 文件中的程序使用 fork(
我想在用户集合中使用不同的功能。在 mongo shell 中,我可以像下面这样使用: db.users.distinct("name"); 其中名称是用于区分的集合字段。 同样我想要,在 C
List nastava_izvjestaj = new List(); var data_context = new DataEvidencijaDataContext();
我的 Rails 应用程序中有 Ransack 搜索和 Foundation,本地 css 渲染正常,而生产中的同一个应用程序有一个怪癖: 应用程序中的其他内容完全相同。 我在 Chrome 和 Sa
我是一名优秀的程序员,十分优秀!