25
4
I have a 1D tensor of tokens that belong to different batches. The batch sizes here are uneven. Each batch needs to be multiplied with a corresponding weight matrix. My current approach is using a batch pointer vector and a series of distinct weight matrices corresponding to the unique pointers along with a for loop. I want to efficiently compute a result of shape [num_tokens, output_dim], where each weight matrix has shape [input_dim, output_dim]. I also pad the inputs to a multiple of 8 for harnessing NVIDIA Tensor Cores.
Here's an example:
我有属于不同批次的令牌的一维张量。这里的批次大小参差不齐。每批需要乘以相应的权重矩阵。我目前的方法是使用批处理指针向量和一系列与唯一指针对应的不同权重矩阵以及for循环。我想高效地计算形状[num_tokens，outputdim]的结果，其中每个权重矩阵都有形状[inputdim，outputdim]。我还将输入填充到8的倍数，以利用NVIDIA张量器内核。下面是一个例子：
个人中心
文章发布
退出# shape [num_tokens,]
input_dim, output_dim = 4, 8
ptr = torch.tensor([0, 1, 1, 2, 2, 2, 3, 3, 3, -1, -1, -1]) # -1 means padding
features = torch.randn(ptr.shape[0], input_dim)
weights = [torch.randn(input_dim, output_dim) for _ in range(4)]
unique = torch.unique(ptr, sorted=False, return_inverse=False, return_counts=False)
unique = unique[unique != -1] # ignore padding
results = []
for i in unique:
split = features[batch_ptr == i, :]
# pad each split to multiple of 8 for NVIDIA A100
# repeat pad embedding to desired size
pad = (
torch.empty((-split.size(0)) % 8, split.size(-1))
.uniform_()
.to(split.device)
)
padded_split = torch.cat((split, pad), dim=0)
attn_mask = torch.cat((torch.ones(split.size(0)), torch.zeros(pad.size(0)))).to(
torch.bool
)
# forward pass
result = split @ padded_split
# strip padding so I can create a 2D result tensor of correct dimension again
results.append(result[attn_mask, :])
results = torch.cat(results, dim=0)
The above approach causes a significant slowdown in my code, and occurs in the forward pass of model inference. I suspect that it's because of the padding. I was looking into scatter operations as a solution using ptr as an index vector, but all available methods only support basic reduction methods like sum, mean, max, etc.
上面的方法导致我的代码显著减慢，并且发生在模型推理的前向传递中。我怀疑是因为填充物的缘故。我正在研究使用ptr作为索引向量的散布操作作为解决方案，但所有可用的方法都只支持像SUM、Mean、Max等基本的归约方法。
How to optimize my approach?
如何优化我的方法？
Welcome to SO; code optimization questions are off-topic here, and they should be posted to Code Review SE instead. Please see Where should code optimization questions be asked?
欢迎来到So；代码优化问题在这里是离题的，它们应该发布到Code Review SE。请看应该在哪里询问代码优化问题？
@desertnaut what are you on about? meta.stackoverflow.com/q/412875
@discartnaut你在说什么？Meta.stackoverflow.com/Q/412875
25
4
0
在下面的代码中，我得到一个 uninitialized value警告，但仅限于第二个 given/when例子。为什么是这样？ #!/usr/bin/env perl use warnings; u
整个“开关”功能是否已成为实验性的？在没有 Perl 的 future 版本破坏我的代码的情况下，我可以依赖其中的某些部分吗？一般来说，将稳定功能更改为实验性的政策是什么？ 背景use feature
有没有办法在一个条件语句中写出如下语句？ a和b不能同时等于5。 (a可以是5，b可以是5，但是a AND b不能是5) 最佳答案 正如克里斯指出的那样，您要查找的是逻辑异或，相当于逻辑不等于 !=:
我正在寻找一种算法来找到给定 n 条线段的所有交点。以下是来自 http://jeffe.cs.illinois.edu/teaching/373/notes/x06-sweepline.pdf 的伪
数组中有 N 个元素。我可以选择第一项最多 N 次，第二项最多选择 N-1 次，依此类推。 我有 K 个 token 要使用并且需要使用它们以便我可以拥有最大数量的项目。 arr = [3, 4, 8
我正在尝试修复法语文本中的语法性别，想知道是否有办法从某个词条中获取所有单词的列表，以及是否可以在此类列表中进行查找？ 最佳答案 尝试: import spacy lemma_lookup = spa
我正在为 Win32 编写一个简单的自动化测试应用程序。它作为一个单独的进程运行，并通过 Windows API 访问目标应用程序。我可以阅读窗口层次结构，查找标签和文本框，并通过发送/发布消息等来单
在 nodeJs 中使用 Sequelize 时，我从 Sequelize 收到此错误，如下所示: { [SequelizeUniqueConstraintError: Validation erro
本文https://arxiv.org/pdf/1703.10757.pdf使用回归激活映射 (RAM) - 而不是类激活映射 (CAM) 来解决问题。有几篇文章描述了如何实现 CAM。但是我找不到
我正在研究 Mach 动态链接器 dyld。这个问题适用于所有 Apple 平台，但很高兴得到特定于平台的答案；我正在使用 ObjC，但如果对你有用的话，我也很乐意翻译 Swift。 The rele
我有一个包含数千个 Instagram 用户 ID 的列表。我如何获得他们的 Instagram 用户名/句柄？ 最佳答案 你必须使用这个 Instagram API: https://api.ins
我在下面的代码: def main(args: Array[String]) { val sparkConf = new SparkConf().setAppName("Spark-Hbase").s
我有一个表格，其中包含从 1 到 10 的数字。(从 D2 到 M2) 假设A1中有03/09/2019 并且在B1中有06/09/2019 并且在C1中有Hello 在A 列中，我有多个系列的单词，
我想在给定服务对应的 URI 的情况下检索服务的注释(特别是 @RolesAllowed )。这是一个例子: 服务: @GET @Path("/example") @RolesAllowed({ "B
我看到 OraclePreparedStatementexecuteQuery() 表现出序列化。也就是说，我想使用相同的连接对 Oracle 数据库同时运行两个查询。然而，OraclePrepare
import java.util.Scanner; public class GeometricSumFromK { public static int geometricSum(int k,
我创建了一个抽象基类Page，它说明了如何构建动态网页。我正在尝试想出一种基于作为 HttpServletRequest 传入的 GET 请求生成 Page 的好方法。例如... public cla
我的字符串是一条短信，采用以下两种格式之一: 潜在客户短信: 您已收到 1 条线索 标题:我的领导 潜在客户 ID:12345-2365 警报设置 ID:890 短信回复: 您已收到 1 条回复 标题
我在 python 中有以下代码: class CreateMap: def changeme(listOne, lisrTwo, listThree, listFour, listfive):
这是在 Hibernate 上运行的 JPA2。 我想检索相同实体类型的多个实例，给定它们的 ID。其中许多已经在持久性上下文和/或二级缓存中。 我尝试了几种方法，但似乎都有其缺点: 当我使用 ent
我是一名优秀的程序员,十分优秀！