Python性能调试笔记

::-- Roka [2007-04-26 14:46:55]

Contents

  1. 概要
    1. 字符串连接
    2. 循环
    3. 面向对象
    4. 本地变量
    5. 字典
    6. Import
    7. 数据集合处理
    8. 使用xrange()代替range()
  2. 交流

1. 概要

TODO

1.1. 字符串连接

(1)

普通代码:

Toggle line numbers 
   1 s = ""
   2 for substring in list:
   3     s += substring

高性能代码:

Toggle line numbers 
   1 s = "".join(list)

(2)

普通代码:

Toggle line numbers 
   1 s = ""
   2 for x in list:
   3     s += someFunction(x)

高性能代码:

Toggle line numbers 
   1 slist = [someFunction(x) for x in somelist]
   2 s = "".join(slist)

(3)

普通代码:

Toggle line numbers 
   1 out = "<html>" + head + prologue + query + tail + "</html>"

高性能代码:

Toggle line numbers 
   1 out = "<html>%(head)s%(prologue)s%(query)s%(tail)s</html>" % locals()

1.2. 循环

(1)一个转换大写的例程:

普通代码:

Toggle line numbers 
   1 newlist = []
   2 for word in oldlist:
   3     newlist.append(word.upper())

高性能代码:

Toggle line numbers 
   1 #(map()函数是C语言实现，性能比较高，但是会在Py3000消失)
   2 newlist = map(str.upper, oldlist)
   3 #Or(List comprehensions, Py > 2.0)
   4 newlist = [s.upper() for s in oldlist]
   5 #Or(Generator expressions, Py > 2.4)
   6 newlist = (s.upper() for s in oldlist)

1.3. 面向对象

(1)假设不能使用map()和list comprehension，你只能使用循环时要避免”带点循环“:

Toggle line numbers 
   1 upper = str.upper
   2 newlist = []
   3 append = newlist.append
   4 # loop without dots
   5 for word in list:
   6     append(upper(word))

1.4. 本地变量

(1)终极办法-使用本地变量代替全局变量

Toggle line numbers 
   1 def func():
   2     upper = str.upper
   3     newlist = []
   4     append = newlist.append
   5     for word in words:
   6         append(upper(word))
   7     return newlist

1.5. 字典

(1)不要带IF循环:

普通代码:

Toggle line numbers 
   1 wdict= {}
   2 for word in words:
   3     if word not in wdict:
   4         wdict[word] = 0
   5     wdict[word] += 1

高性能代码:

Toggle line numbers 
   1 #(Py < 2.x)
   2 wdict = {}
   3 for word in words:
   4     try:
   5         wdict[word] += 1
   6     except KeyError:
   7         wdict[word] = 1
   8 
   9 #(Py > 2.x)
  10 wdict = {}
  11 get = wdict.get
  12 for word in words:
  13     wdict[word] = get(word, 0) + 1

如果在字典里的是对象或列表，你还可以用dict.setdefault 方法

Toggle line numbers 
   1 wdict.setdefault(key, []).append(newElement)

1.6. Import

(1)在本地import会比全局import高效。

(2)保证只import一次。

Toggle line numbers 
   1 #check
   2 pack = None
   3 
   4 def parse_pack():
   5     global pack
   6     if pack is None:
   7         import pack
   8     ...

1.7. 数据集合处理

(1)避免在循环中进行函数调用

普通代码:

Toggle line numbers 
   1 import time
   2 x = 0
   3 def doit(i):
   4     global x
   5     x = x + 1
   6 
   7 list = range(100000)
   8 t = time.time()
   9 for i in list:
  10     doit(i)
  11 
  12 print "%.3f" %(time.time() -t )

高性能代码:

Toggle line numbers 
   1 import time
   2 x = 0
   3 def doit(i):
   4     global x
   5     for i in list:
   6         x = x + 1
   7     x = x + 1
   8 
   9 list = range(100000)
  10 t = time.time()
  11 doit(list)
  12 
  13 print "%.3f" %(time.time() -t )

(什么？？竟然快了4倍以上！！)

1.8. 使用xrange()代替range()

Toggle line numbers 
   1 # Measuring the performance using profile mod
   2 
   3 def myFunc():
   4     b = []
   5     a = [[1,2,3],[4,5,6]]
   6     for x in range(len(a)):
   7         for y in range(len(a[x])):
   8           b.append(a[x][y])  
   9 
  10 import profile
  11 profile.run("myFunc()","myFunc.profile")
  12 import pstats
  13 pstats.Stats("myFunc.profile").sort_stats("time").print_stats()

结果: 

Wed May 23 12:05:07 2007    myFunc.profile

         16 function calls in 0.001 CPU seconds

   Ordered by: internal time

   ncalls  tottime  percall  cumtime  percall filename:lineno(function)
        1    0.001    0.001    0.001    0.001 :0(setprofile)
        1    0.000    0.000    0.001    0.001 profile:0(myFunc())
        1    0.000    0.000    0.000    0.000 D:/Python25/measuringPerf.py:7(myFunc)
        6    0.000    0.000    0.000    0.000 :0(append)
        3    0.000    0.000    0.000    0.000 :0(range)
        1    0.000    0.000    0.000    0.000 <string>:1(<module>)
        3    0.000    0.000    0.000    0.000 :0(len)
        0    0.000             0.000          profile:0(profiler)

现在替换range()为xrange():

Toggle line numbers 
   1 # Measuring the performance using profile mod
   2 
   3 def myFunc():
   4     b = []
   5     a = [[1,2,3],[4,5,6]]
   6     for x in xrange(len(a)):
   7         for y in xrange(len(a[x])):
   8           b.append(a[x][y])  
   9 
  10 import profile
  11 profile.run("myFunc()","myFunc.profile")
  12 import pstats
  13 pstats.Stats("myFunc.profile").sort_stats("time").print_stats()

结果: 

Wed May 23 12:05:59 2007    myFunc.profile

         13 function calls in 0.001 CPU seconds

   Ordered by: internal time

   ncalls  tottime  percall  cumtime  percall filename:lineno(function)
        1    0.001    0.001    0.001    0.001 :0(setprofile)
        1    0.000    0.000    0.001    0.001 profile:0(myFunc())
        1    0.000    0.000    0.000    0.000 D:/Python25/measuringPerf.py:7(myFunc)
        6    0.000    0.000    0.000    0.000 :0(append)
        1    0.000    0.000    0.000    0.000 <string>:1(<module>)
        3    0.000    0.000    0.000    0.000 :0(len)
        0    0.000             0.000          profile:0(profiler)

注意到函数调用次数由16减少到了13，

虽然使用的CPU时间是一样的，但只是执行一次的结果。 

注：
(ncalls)：调用次数。
(tottime)：总函数耗时（不包括子函数） 
(cumtime)：总函数耗时（包括子函数） 
(percall):平均调用时间

毕竟xrange()是C完全实现的。

2. 交流

PyPerformanceTuning (last edited 2009-12-25 07:16:00 by localhost)