个人中心
文章发布
退出
作者热门文章
- ubuntu12.04环境下使用kvm ioctl接口实现最简单的虚拟机
- Ubuntu 通过无线网络安装Ubuntu Server启动系统后连接无线网络的方法
- 在Ubuntu上搭建网桥的方法
- ubuntu 虚拟机上网方式及相关配置详解
27
4
CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.
这篇CFSDN的博客文章python 性能提升的几种方法由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.
关于python 性能提升的一些方案.
1、函数调用优化（空间跨度，避免访问内存） 。
程序的优化核心点在于尽量减少操作跨度，包括代码执行时间上的跨度以及内存中空间跨度.
1.大数据求和，使用sum 。
|
1
2
3
4
5
6
7
8
9
|
a
=
range
(
100000
)
%
timeit
-
n
10
sum
(a)
10
loops, best of
3
:
3.15
ms per loop
%
%
timeit
...: s
=
0
...:
for
i
in
a:
...: s
+
=
i
...:
100
loops, best of
3
:
6.93
ms per loop
|
2.小数据求和，避免使用sum 。
|
1
2
3
4
|
%
timeit
-
n
1000
s
=
a
+
b
+
c
+
d
+
e
+
f
+
g
+
h
+
i
+
j
+
k
# 数据量较小时直接累加更快
1000
loops, best of
3
:
571
ns per loop
%
timeit
-
n
1000
s
=
sum
([a,b,c,d,e,f,g,h,i,j,k])
# 小数据量调用 sum 函数，空间效率降低
1000
loops, best of
3
:
669
ns per loop
|
结论：大数据求和sum效率高，小数据求和直接累加效率高.
2、for循环优化之取元素（使用栈或寄存器，避免访问内存） 。
|
1
2
|
for
lst
in
[(
1
,
2
,
3
), (
4
,
5
,
6
)]:
# lst 索引需要额外开销
pass
|
应尽量避免使用索引.
|
1
2
|
for
a, b, c
in
[(
1
,
2
,
3
), (
4
,
5
,
6
)]:
# better
pass
|
相当于给每一个元素直接赋值.
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
|
def
force():
lst
=
range
(
4
)
for
a1
in
[
1
,
2
]:
for
a2
in
lst:
for
a3
in
lst:
for
b1
in
lst:
for
b2
in
lst:
for
b3
in
lst:
for
c1
in
lst:
for
c2
in
lst:
for
c3
in
lst:
for
d1
in
lst:
yield
(a1, a2, a3, b1, b2, b3, c1, c2, c3, d1)
%
%
timeit
-
n
10
for
t
in
force():
sum
([t[
0
], t[
1
], t[
2
], t[
3
], t[
4
], t[
5
], t[
6
], t[
7
], t[
8
], t[
9
]])
10
loops, best of
3
:
465
ms per loop
%
%
timeit
-
n
10
for
a1, a2, a3, b1, b2, b3, c1, c2, c3, d1
in
force():
sum
([a1, a2, a3, b1, b2, b3, c1, c2, c3, d1])
10
loops, best of
3
:
360
ms per loop
|
3、生成器优化（查表代替运算） 。
|
1
2
3
4
5
6
7
8
9
|
def
force(start, end):
# 用于密码暴力破解程序
for
i
in
range
(start, end):
now
=
i
sublst
=
[]
for
j
in
range
(
10
):
sublst.append(i
%
10
)
# 除法运算开销较大，比乘法大
i
/
/
=
10
sublst.reverse()
yield
(
tuple
(sublst), now)
|
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
|
def
force():
# better
lst
=
range
(
5
)
for
a1
in
[
1
]:
for
a2
in
lst:
for
a3
in
lst:
for
b1
in
lst:
for
b2
in
lst:
for
b3
in
lst:
for
c1
in
lst:
for
c2
in
lst:
for
c3
in
lst:
for
d1
in
lst:
yield
(a1, a2, a3, b1, b2, b3, c1, c2, c3, d1)
|
|
1
2
3
4
5
6
|
r0
=
[
1
,
2
]
# 可读性与灵活性
r1
=
range
(
10
)
r2
=
r3
=
r4
=
r5
=
r6
=
r7
=
r8
=
r9
=
r1
force
=
((a0, a1, a2, a3, a4, a5, a6, a7, a8, a9)
for
a0
in
r0
for
a1
in
r1
for
a2
in
r2
for
a3
in
r3
for
a4
in
r4
for
a5
in
r5
for
a6
in
r6
for
a7
in
r7
for
a8
in
r8
for
a9
in
r9)
|
4、幂运算优化（pow（x，y，z）） 。
|
1
2
3
4
5
6
7
8
9
10
11
|
def
isprime(n):
if
n &
1
=
=
0
:
return
False
k, q
=
find_kq(n)
a
=
randint(
1
, n
-
1
)
if
pow
(a, q, n)
=
=
1
:
# 比使用 a ** q % n 运算优化数倍
return
True
for
j
in
range
(k):
if
pow
(a,
pow
(
2
, j)
*
q, n)
=
=
n
-
1
:
# a **((2 ** j) * q) % n
return
True
return
False
|
结论：pow（x,y,z）优于x**y%z. 。
5、除法运算优化 。
|
1
2
3
4
5
6
7
8
9
10
11
|
In [
1
]:
from
random
import
getrandbits
In [
2
]: x
=
getrandbits(
4096
)
In [
3
]: y
=
getrandbits(
2048
)
In [
4
]:
%
timeit
-
n
10000
q, r
=
divmod
(x, y)
10000
loops, best of
3
:
10.7
us per loop
In [
5
]:
%
timeit
-
n
10000
q, r
=
x
/
/
y, x
%
y
10000
loops, best of
3
:
21.2
us per loop
|
结论：divmod优于//和%.
6、优化算法时间复杂度 。
算法的时间复杂度对程序的执行效率影响最大，在python中可以选择合适的数据结构来优化时间复杂度，如list和set查找某一个元素的时间复杂度分别是O(n)和O(1)。不同场景有不同的优化方式，总的来说，一般有分治，分支定界、贪心动态规划等思想.
7、合理使用copy和deepcopy 。
对于dict和list等数据结构的对象，直接赋值使用的是引用的方式。而有些情况下需要复制整个对象，这时可以使用copy包里的copy和deepcopy，这两个函数的不同之处在于deepcopy是递归复制的。效率不同:
|
1
2
3
4
5
|
In [
23
]:
import
copy
In [
24
]:
%
timeit
-
n
10
copy.copy(a)
10
loops, best of
3
:
606
ns per loop
In [
25
]:
%
timeit
-
n
10
copy.deepcopy(a)
10
loops, best of
3
:
1.17
us per loop
|
timeit后面的-n表示运行的次数，后两行对应的是两个timeit的输出，下同。由此可见后者慢一个数量级.
关于copy的一个例子:
|
1
2
3
4
5
6
|
>>> lists
=
[[]]
*
3
>>> lists
[[], [], []]
>>> lists[
0
].append(
3
)
>>> lists
[[
3
], [
3
], [
3
]]
|
发生的事情是这样的，[[]]是包含一个空列表的只有一个元素的列表，所以[[]] * 3的所有三个元素都是（指向）这个空列表。修改lists的任何元素都修改这个列表。修改效率高.
8、使用dict或set查找元素 。
python 字典和集合都是使用hash表来实现（类似c++标准库unordered_map），查找元素的时间复杂度是O(1).
|
1
2
3
4
5
6
7
8
9
|
In [
1
]: r
=
range
(
10
*
*
7
)
In [
2
]: s
=
set
(r)
# 占用 588MB 内存
In [
3
]: d
=
dict
((i,
1
)
for
i
in
r)
# 占用 716MB 内存
In [
4
]:
%
timeit
-
n
10000
(
10
*
*
7
)
-
1
in
r
10000
loops, best of
3
:
291
ns per loop
In [
5
]:
%
timeit
-
n
10000
(
10
*
*
7
)
-
1
in
s
10000
loops, best of
3
:
121
ns per loop
In [
6
]:
%
timeit
-
n
10000
(
10
*
*
7
)
-
1
in
d
10000
loops, best of
3
:
111
ns per loop
|
结论：set 的内存占用量最小，dict运行时间最短.
9、合理使用（generator）和yield（节省内存） 。
|
1
2
3
4
5
6
7
8
|
In [
1
]:
%
timeit
-
n
10
a
=
(i
for
i
in
range
(
10
*
*
7
))
# 生成器通常遍历更高效
10
loops, best of
3
:
933
ns per loop
In [
2
]:
%
timeit
-
n
10
a
=
[i
for
i
in
range
(
10
*
*
7
)]
10
loops, best of
3
:
916
ms per loop
In [
1
]:
%
timeit
-
n
10
for
x
in
(i
for
i
in
range
(
10
*
*
7
)):
pass
10
loops, best of
3
:
749
ms per loop
In [
2
]:
%
timeit
-
n
10
for
x
in
[i
for
i
in
range
(
10
*
*
7
)]:
pass
10
loops, best of
3
:
1.05
s per loop
|
结论：尽量使用生成器去遍历.
以上就是对python 性能提升的一些方案，后续继续补充，需要的可以看下.
最后此篇关于python 性能提升的几种方法的文章就讲到这里了,如果你想了解更多关于python 性能提升的几种方法的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。
27
4
0
我正在处理一组标记为 160 个组的 173k 点。我想通过合并最接近的(到 9 或 10 个组)来减少组/集群的数量。我搜索过 sklearn 或类似的库，但没有成功。 我猜它只是通过 knn 聚类
我有一个扁平数字列表，这些数字逻辑上以 3 为一组，其中每个三元组是 (number, __ignored, flag[0 or 1])，例如: [7,56,1, 8,0,0, 2,0,0, 6,1,
我正在使用 pipenv 来管理我的包。我想编写一个 python 脚本来调用另一个使用不同虚拟环境(VE)的 python 脚本。 如何运行使用 VE1 的 python 脚本 1 并调用另一个 p
假设我有一个文件 script.py 位于 path = "foo/bar/script.py"。我正在寻找一种在 Python 中通过函数 execute_script() 从我的主要 Python
这听起来像是谜语或笑话，但实际上我还没有找到这个问题的答案。 问题到底是什么？ 我想运行 2 个脚本。在第一个脚本中，我调用另一个脚本，但我希望它们继续并行，而不是在两个单独的线程中。主要是我不希望第
我有一个带有 python 2.5.5 的软件。我想发送一个命令，该命令将在 python 2.7.5 中启动一个脚本，然后继续执行该脚本。 我试过用 #!python2.7.5 和http://re
我在 python 命令行(使用 python 2.7)中，并尝试运行 Python 脚本。我的操作系统是 Windows 7。我已将我的目录设置为包含我所有脚本的文件夹，使用: os.chdir("
剧透:部分解决(见最后)。 以下是使用 Python 嵌入的代码示例: #include int main(int argc, char** argv) { Py_SetPythonHome
假设我有以下列表，对应于及时的股票价格: prices = [1, 3, 7, 10, 9, 8, 5, 3, 6, 8, 12, 9, 6, 10, 13, 8, 4, 11] 我想确定以下总体上最
所以我试图在选择某个单选按钮时更改此框架的背景。 我的框架位于一个类中，并且单选按钮的功能位于该类之外。 (这样我就可以在所有其他框架上调用它们。) 问题是每当我选择单选按钮时都会出现以下错误: co
我正在尝试将字符串与 python 中的正则表达式进行比较，如下所示， #!/usr/bin/env python3 import re str1 = "Expecting property name
考虑以下原型(prototype) Boost.Python 模块，该模块从单独的 C++ 头文件中引入类“D”。 /* file: a/b.cpp */ BOOST_PYTHON_MODULE(c)
如何编写一个程序来“识别函数调用的行号？” python 检查模块提供了定位行号的选项，但是， def di(): return inspect.currentframe().f_back.f_l
我已经使用 macports 安装了 Python 2.7，并且由于我的 $PATH 变量，这就是我输入 $ python 时得到的变量。然而，virtualenv 默认使用 Python 2.6，除
我只想问如何加快 python 上的 re.search 速度。 我有一个很长的字符串行，长度为 176861(即带有一些符号的字母数字字符)，我使用此函数测试了该行以进行研究: def getExe
list1= [u'%app%%General%%Council%', u'%people%', u'%people%%Regional%%Council%%Mandate%', u'%ppp%%Ge
这个问题在这里已经有了答案: Is it Pythonic to use list comprehensions for just side effects? (7 个答案) 关闭 4 个月前。 告
我想用 Python 将两个列表组合成一个列表，方法如下: a = [1,1,1,2,2,2,3,3,3,3] b= ["Sun", "is", "bright", "June","and" ,"Ju
我正在运行带有最新 Boost 发行版 (1.55.0) 的 Mac OS X 10.8.4 (Darwin 12.4.0)。我正在按照说明 here构建包含在我的发行版中的教程 Boost-Pyth
学习 Python，我正在尝试制作一个没有任何第 3 方库的网络抓取工具，这样过程对我来说并没有简化，而且我知道我在做什么。我浏览了一些在线资源，但所有这些都让我对某些事情感到困惑。 html 看起来
我是一名优秀的程序员,十分优秀！