- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我做了一些 MaxPool2d 的实现(运行正确,与 pytorch 比较)。在 mnist 数据集上进行测试时,此函数 (updateOutput) 需要很长时间才能完成。如何使用 numpy 优化此代码?
class MaxPool2d(Module):
def __init__(self, kernel_size):
super(MaxPool2d, self).__init__()
self.kernel_size = kernel_size
self.gradInput = None
def updateOutput(self, input):
#print("MaxPool updateOutput")
#start_time = time.time()
kernel = self.kernel_size
poolH = input.shape[2] // kernel
poolW = input.shape[3] // kernel
self.output = np.zeros((input.shape[0],
input.shape[1],
poolH,
poolW))
self.index = np.zeros((input.shape[0],
input.shape[1],
poolH,
poolW,
2),
dtype='int32')
for i in range(input.shape[0]):
for j in range(input.shape[1]):
for k in range(0, input.shape[2] - kernel+1, kernel):
for m in range(0, input.shape[3] - kernel+1, kernel):
M = input[i, j, k : k+kernel, m : m+kernel]
self.output[i, j, k // kernel, m // kernel] = M.max()
self.index[i, j, k // kernel, m // kernel] = np.array(np.unravel_index(M.argmax(), M.shape)) + np.array((k, m))
#print(f"time: {time.time() - start_time:.3f}s")
return self.output
最佳答案
为清楚起见,我通过删除批量大小和 channel 维度简化了您的示例。
大部分时间都花在了 M.max()
的计算上.我创建了基准函数 update_output_b
使用常量数组执行此循环。
import time
import numpy as np
def timeit(cycles):
def timed(func):
def wrapper(*args, **kwargs):
start_t = time.time()
for _ in range(cycles):
func(*args, **kwargs)
t = (time.time() - start_t) / cycles
print(f'{func.__name__} mean execution time: {t:.3f}s')
return wrapper
return timed
@timeit(100)
def update_output_b(input, kernel):
ones = np.ones((kernel, kernel))
pool_h = input.shape[0] // kernel
pool_w = input.shape[1] // kernel
output = np.zeros((pool_h, pool_w))
for i in range(0, input.shape[0] - kernel + 1, kernel):
for j in range(0, input.shape[1] - kernel + 1, kernel):
output[i // kernel, j // kernel] = ones.max()
return output
in_arr = np.random.rand(3001, 200)
update_output_b(in_arr, 3)
update_output_b mean execution time: 0.277s
因为它不使用 numpy 完全矢量化的操作。如果可能,您应该始终优先使用 native numpy 函数而不是循环。
@timeit(100)
def update_output_1(input, kernel):
pool_h = input.shape[0] // kernel
pool_w = input.shape[1] // kernel
output = np.zeros((pool_h, pool_w))
for i in range(0, input.shape[0] - kernel + 1, kernel):
for j in range(0, input.shape[1] - kernel + 1, kernel):
M = input[i : i + kernel, j : j + kernel]
output[i // kernel, j // kernel] = M.max()
return output
update_output_1(in_arr, 3)
update_output_1 mean execution time: 0.332s
(与前一个相比+55ms)
update_output_2 mean execution time: 0.015s
),但它可能远非最佳。
@timeit(100)
def update_output_2(input, kernel):
pool_h = input.shape[0] // kernel
pool_w = input.shape[1] // kernel
input_h = pool_h * kernel
input_w = pool_w * kernel
# crop input
output = input[:input_h, :input_w]
# calculate max along second axis
output = output.reshape((-1, kernel))
output = output.max(axis=1)
# calculate max along first axis
output = output.reshape((pool_h, kernel, pool_w))
output = output.max(axis=1)
return output
update_output_2(in_arr, 3)
output_indices
沿 ech 窗口中的第二个轴,然后使用
output_indices_selector
沿着第二个选择最大值。
def update_output_3(input, kernel):
pool_h = input.shape[0] // kernel
pool_w = input.shape[1] // kernel
input_h = pool_h * kernel
input_w = pool_w * kernel
# crop input
output = input[:input_h, :input_w]
# calculate max along second axis
output_tmp = output.reshape((-1, kernel))
output_indices = output_tmp.argmax(axis=1)
output_indices += np.arange(output_indices.shape[0]) * kernel
output_indices = np.unravel_index(output_indices, output.shape)
output_tmp = output[output_indices]
# calculate max along first axis
output_tmp = output_tmp.reshape((pool_h, kernel, pool_w))
output_indices_selector = (kernel * pool_w * np.arange(pool_h).reshape(pool_h, 1))
output_indices_selector = output_indices_selector.repeat(pool_w, axis=1)
output_indices_selector += pool_w * output_tmp.argmax(axis=1)
output_indices_selector += np.arange(pool_w)
output_indices_selector = output_indices_selector.flatten()
output_indices = (output_indices[0][output_indices_selector],
output_indices[1][output_indices_selector])
output = output[output_indices].reshape(pool_h, pool_w)
return output, output_indices
关于python - 如何优化这个 MaxPool2d 实现,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/62433704/
背景: 我最近一直在使用 JPA,我为相当大的关系数据库项目生成持久层的轻松程度给我留下了深刻的印象。 我们公司使用大量非 SQL 数据库,特别是面向列的数据库。我对可能对这些数据库使用 JPA 有一
我已经在我的 maven pom 中添加了这些构建配置,因为我希望将 Apache Solr 依赖项与 Jar 捆绑在一起。否则我得到了 SolarServerException: ClassNotF
interface ITurtle { void Fight(); void EatPizza(); } interface ILeonardo : ITurtle {
我希望可用于 Java 的对象/关系映射 (ORM) 工具之一能够满足这些要求: 使用 JPA 或 native SQL 查询获取大量行并将其作为实体对象返回。 允许在行(实体)中进行迭代,并在对当前
好像没有,因为我有实现From for 的代码, 我可以转换 A到 B与 .into() , 但同样的事情不适用于 Vec .into()一个Vec . 要么我搞砸了阻止实现派生的事情,要么这不应该发
在 C# 中,如果 A 实现 IX 并且 B 继承自 A ,是否必然遵循 B 实现 IX?如果是,是因为 LSP 吗?之间有什么区别吗: 1. Interface IX; Class A : IX;
就目前而言,这个问题不适合我们的问答形式。我们希望答案得到事实、引用资料或专业知识的支持,但这个问题可能会引发辩论、争论、投票或扩展讨论。如果您觉得这个问题可以改进并可能重新打开,visit the
我正在阅读标准haskell库的(^)的实现代码: (^) :: (Num a, Integral b) => a -> b -> a x0 ^ y0 | y0 a -> b ->a expo x0
我将把国际象棋游戏表示为 C++ 结构。我认为,最好的选择是树结构(因为在每个深度我们都有几个可能的移动)。 这是一个好的方法吗? struct TreeElement{ SomeMoveType
我正在为用户名数据库实现字符串匹配算法。我的方法采用现有的用户名数据库和用户想要的新用户名,然后检查用户名是否已被占用。如果采用该方法,则该方法应该返回带有数据库中未采用的数字的用户名。 例子: “贾
我正在尝试实现 Breadth-first search algorithm , 为了找到两个顶点之间的最短距离。我开发了一个 Queue 对象来保存和检索对象,并且我有一个二维数组来保存两个给定顶点
我目前正在 ika 中开发我的 Python 游戏,它使用 python 2.5 我决定为 AI 使用 A* 寻路。然而,我发现它对我的需要来说太慢了(3-4 个敌人可能会落后于游戏,但我想供应 4-
我正在寻找 Kademlia 的开源实现C/C++ 中的分布式哈希表。它必须是轻量级和跨平台的(win/linux/mac)。 它必须能够将信息发布到 DHT 并检索它。 最佳答案 OpenDHT是
我在一本书中读到这一行:-“当我们要求 C++ 实现运行程序时,它会通过调用此函数来实现。” 而且我想知道“C++ 实现”是什么意思或具体是什么。帮忙!? 最佳答案 “C++ 实现”是指编译器加上链接
我正在尝试使用分支定界的 C++ 实现这个背包问题。此网站上有一个 Java 版本:Implementing branch and bound for knapsack 我试图让我的 C++ 版本打印
在很多情况下,我需要在 C# 中访问合适的哈希算法,从重写 GetHashCode 到对数据执行快速比较/查找。 我发现 FNV 哈希是一种非常简单/好/快速的哈希算法。但是,我从未见过 C# 实现的
目录 LRU缓存替换策略 核心思想 不适用场景 算法基本实现 算法优化
1. 绪论 在前面文章中提到 空间直角坐标系相互转换 ,测绘坐标转换时,一般涉及到的情况是:两个直角坐标系的小角度转换。这个就是我们经常在测绘数据处理中,WGS-84坐标系、54北京坐标系
在软件开发过程中,有时候我们需要定时地检查数据库中的数据,并在发现新增数据时触发一个动作。为了实现这个需求,我们在 .Net 7 下进行一次简单的演示. PeriodicTimer .
二分查找 二分查找算法,说白了就是在有序的数组里面给予一个存在数组里面的值key,然后将其先和数组中间的比较,如果key大于中间值,进行下一次mid后面的比较,直到找到相等的,就可以得到它的位置。
我是一名优秀的程序员,十分优秀!