- c - 在位数组中找到第一个零
- linux - Unix 显示有关匹配两种模式之一的文件的信息
- 正则表达式替换多个文件
- linux - 隐藏来自 xtrace 的命令
我正在尝试用 Python 实现一个卷积神经网络。最初,我使用 scipy.signal 的 convolve2d 函数进行卷积,但它有很多开销,而且在 C 中实现我自己的算法并从 python 调用它会更快,因为我知道我的输入是什么样的.
我已经实现了 2 个功能:
这些函数都没有填充,因为我需要降维。
// a - 2D matrix (as a 1D array), w - kernel
double* conv2(double* a, double* w, double* result)
{
register double acc;
register int i;
register int j;
register int k1, k2;
register int l1, l2;
register int t1, t2;
for(i = 0; i < RESULT_DIM; i++)
{
t1 = i * RESULT_DIM; // loop invariants
for(j = 0; j < RESULT_DIM; j++)
{
acc = 0.0;
for(k1 = FILTER_DIM - 1, k2 = 0; k1 >= 0; k1--, k2++)
{
t2 = k1 * FILTER_DIM; // loop invariants
for(l1 = FILTER_DIM - 1, l2 = 0; l1 >= 0; l1--, l2++)
{
acc += w[t2 + l1] * a[(i + k2) * IMG_DIM + (j + l2)];
}
}
result[t1 + j] = acc;
}
}
return result;
}
// a - 2D matrix, w1, w2 - the separated 1D kernels
double* conv2sep(double* a, double* w1, double* w2, double* result)
{
register double acc;
register int i;
register int j;
register int k1, k2;
register int t;
double* tmp = (double*)malloc(IMG_DIM * RESULT_DIM * sizeof(double));
for(i = 0; i < RESULT_DIM; i++) // convolve with w1
{
t = i * RESULT_DIM;
for(j = 0; j < IMG_DIM; j++)
{
acc = 0.0;
for(k1 = FILTER_DIM - 1, k2 = 0; k1 >= 0; k1--, k2++)
{
acc += w1[k1] * a[k2 * IMG_DIM + t + j];
}
tmp[t + j] = acc;
}
}
for(i = 0; i < RESULT_DIM; i++) // convolve with w2
{
t = i * RESULT_DIM;
for(j = 0; j < RESULT_DIM; j++)
{
acc = 0.0;
for(k1 = FILTER_DIM - 1, k2 = 0; k1 >= 0; k1--, k2++)
{
acc += w2[k1] * tmp[t + (j + k2)];
}
result[t + j] = acc;
}
}
free(tmp);
return result;
}
使用 4000x4000 矩阵和 5x5 内核使用 gcc 的 -O3 标志编译并在 2.7GHz Intel i7 上进行测试,我分别得到(平均 5):
271.21900 ms
127.32000 ms
与 scipy.signal 的 convolve2d 相比,这仍然是一个相当大的改进,convolve2d 对于相同的操作大约需要 2 秒,但我需要更快的速度,因为我将调用此函数数千次。将数据类型更改为 float 目前不是一个选项,即使它会导致相当大的加速。
有没有办法进一步优化这些算法?我可以应用任何缓存技巧或例程来加快速度吗?
如有任何建议,我们将不胜感激。
最佳答案
如果您仅在 x86 上运行,请考虑使用 SSE 或 AVX SIMD 优化。对于 double
数据,吞吐量的提高将是适度的,但如果您可以切换到 float
,那么您可能能够使用 SSE 获得大约 4 倍的改进,或者使用 AVX 获得大约 8 倍的改进。 StackOverflow 上已经有很多关于这个主题的问题和答案,您可以从中获得一些关于实现的想法。或者,也有许多库可用,其中包括高性能 2D 卷积(过滤)例程,这些例程通常利用 SIMD 来提高性能,例如Intel 的 IPP(商业)或 OpenCV(免费)。
另一种可能性是利用多核——将您的图像分成 block 并在其自己的线程中运行每个 block 。例如。如果你有一个 4 核 CPU,那么将你的图像分成 4 个 block 。 (参见 pthreads)。
如果你真的想完全优化这个操作,你当然可以结合以上两种想法。
您可以将一些小的优化应用于您当前的代码以及任何 future 的实现(例如 SIMD):
如果您的内核是对称的(或奇对称的),那么您可以通过添加(减去)对称输入值并执行一次乘法而不是两次乘法来减少运算次数
对于可分离的情况,与其分配一个完整的帧临时缓冲区,不如考虑使用“ strip 挖掘”方法 - 分配一个较小的缓冲区,它是全宽的,但行数相对较少,然后处理您在“ strip ”中的图像,交替应用水平内核和垂直内核。这样做的好处是您拥有更加缓存友好的访问模式和更小的内存占用。
一些关于编码风格的评论:
register
关键字多年来一直是多余的,如果您尝试使用它,现代编译器会发出警告 - 放弃它可以节省一些噪音(和一些输入)
在 C 中转换 malloc
的结果是不受欢迎的 - 它是 redundant and potentially dangerous .
将任何输入参数设置为 const
(即只读)并对永远不能使用别名的任何参数使用 restrict
(例如 a
和 result
) - 这不仅可以帮助避免编程错误(至少在 const
的情况下),而且在某些情况下它可以帮助编译器生成更好地优化代码(特别是在可能存在别名指针的情况下)。
关于python - C中的快速二维卷积,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/38105132/
我正在处理一组标记为 160 个组的 173k 点。我想通过合并最接近的(到 9 或 10 个组)来减少组/集群的数量。我搜索过 sklearn 或类似的库,但没有成功。 我猜它只是通过 knn 聚类
我有一个扁平数字列表,这些数字逻辑上以 3 为一组,其中每个三元组是 (number, __ignored, flag[0 or 1]),例如: [7,56,1, 8,0,0, 2,0,0, 6,1,
我正在使用 pipenv 来管理我的包。我想编写一个 python 脚本来调用另一个使用不同虚拟环境(VE)的 python 脚本。 如何运行使用 VE1 的 python 脚本 1 并调用另一个 p
假设我有一个文件 script.py 位于 path = "foo/bar/script.py"。我正在寻找一种在 Python 中通过函数 execute_script() 从我的主要 Python
这听起来像是谜语或笑话,但实际上我还没有找到这个问题的答案。 问题到底是什么? 我想运行 2 个脚本。在第一个脚本中,我调用另一个脚本,但我希望它们继续并行,而不是在两个单独的线程中。主要是我不希望第
我有一个带有 python 2.5.5 的软件。我想发送一个命令,该命令将在 python 2.7.5 中启动一个脚本,然后继续执行该脚本。 我试过用 #!python2.7.5 和http://re
我在 python 命令行(使用 python 2.7)中,并尝试运行 Python 脚本。我的操作系统是 Windows 7。我已将我的目录设置为包含我所有脚本的文件夹,使用: os.chdir("
剧透:部分解决(见最后)。 以下是使用 Python 嵌入的代码示例: #include int main(int argc, char** argv) { Py_SetPythonHome
假设我有以下列表,对应于及时的股票价格: prices = [1, 3, 7, 10, 9, 8, 5, 3, 6, 8, 12, 9, 6, 10, 13, 8, 4, 11] 我想确定以下总体上最
所以我试图在选择某个单选按钮时更改此框架的背景。 我的框架位于一个类中,并且单选按钮的功能位于该类之外。 (这样我就可以在所有其他框架上调用它们。) 问题是每当我选择单选按钮时都会出现以下错误: co
我正在尝试将字符串与 python 中的正则表达式进行比较,如下所示, #!/usr/bin/env python3 import re str1 = "Expecting property name
考虑以下原型(prototype) Boost.Python 模块,该模块从单独的 C++ 头文件中引入类“D”。 /* file: a/b.cpp */ BOOST_PYTHON_MODULE(c)
如何编写一个程序来“识别函数调用的行号?” python 检查模块提供了定位行号的选项,但是, def di(): return inspect.currentframe().f_back.f_l
我已经使用 macports 安装了 Python 2.7,并且由于我的 $PATH 变量,这就是我输入 $ python 时得到的变量。然而,virtualenv 默认使用 Python 2.6,除
我只想问如何加快 python 上的 re.search 速度。 我有一个很长的字符串行,长度为 176861(即带有一些符号的字母数字字符),我使用此函数测试了该行以进行研究: def getExe
list1= [u'%app%%General%%Council%', u'%people%', u'%people%%Regional%%Council%%Mandate%', u'%ppp%%Ge
这个问题在这里已经有了答案: Is it Pythonic to use list comprehensions for just side effects? (7 个答案) 关闭 4 个月前。 告
我想用 Python 将两个列表组合成一个列表,方法如下: a = [1,1,1,2,2,2,3,3,3,3] b= ["Sun", "is", "bright", "June","and" ,"Ju
我正在运行带有最新 Boost 发行版 (1.55.0) 的 Mac OS X 10.8.4 (Darwin 12.4.0)。我正在按照说明 here构建包含在我的发行版中的教程 Boost-Pyth
学习 Python,我正在尝试制作一个没有任何第 3 方库的网络抓取工具,这样过程对我来说并没有简化,而且我知道我在做什么。我浏览了一些在线资源,但所有这些都让我对某些事情感到困惑。 html 看起来
我是一名优秀的程序员,十分优秀!