📜  基准测试和性能分析

📅  最后修改于: 2020-11-08 08:47:44             🧑  作者: Mango


在本章中,我们将学习基准测试和性能分析如何帮助解决性能问题。

假设我们已经编写了一个代码,并且它也给出了预期的结果,但是如果由于需求发生了变化,我们希望更快地运行此代码,该怎么办。在这种情况下,我们需要找出代码的哪些部分使整个程序变慢。在这种情况下,基准测试和性能分析可能会很有用。

什么是基准测试?

基准测试旨在通过与标准进行比较来评估某些事物。但是,这里出现的问题是,基准测试是什么以及在软件编程的情况下为什么需要基准测试。对代码进行基准测试意味着代码执行速度有多快,瓶颈在哪里。进行基准测试的主要原因之一是它可以优化代码。

基准测试如何工作?

如果我们谈论基准测试的工作,我们需要首先将整个程序作为一个当前状态进行基准测试,然后我们可以组合微基准测试,然后将程序分解为较小的程序。为了找到我们程序中的瓶颈并对其进行优化。换句话说,我们可以将其理解为将大的难题分解为一系列较小和较容易解决的问题,以优化它们。

用于基准测试的Python模块

在Python,默认情况下我们有一个基准测试模块,称为timeit 。借助timeit模块,我们可以在主程序中测量少量Python代码的性能。

在以下Python脚本中,我们将导入timeit模块,该模块将进一步测量执行两个函数– functionAfunctionB所花费的时间-

import timeit
import time
def functionA():
   print("Function A starts the execution:")
   print("Function A completes the execution:")
def functionB():
   print("Function B starts the execution")
   print("Function B completes the execution")
start_time = timeit.default_timer()
functionA()
print(timeit.default_timer() - start_time)
start_time = timeit.default_timer()
functionB()
print(timeit.default_timer() - start_time)

运行上面的脚本后,我们将获得两个函数的执行时间,如下所示。

输出

Function A starts the execution:
Function A completes the execution:
0.0014599495514175942
Function B starts the execution
Function B completes the execution
0.0017024724827479076

使用装饰器函数编写我们自己的计时器

在Python,我们可以创建自己的计时器,其作用类似于timeit模块。可以在decorator函数的帮助下完成。以下是自定义计时器的示例-

import random
import time

def timer_func(func):

   def function_timer(*args, **kwargs):
   start = time.time()
   value = func(*args, **kwargs)
   end = time.time()
   runtime = end - start
   msg = "{func} took {time} seconds to complete its execution."
      print(msg.format(func = func.__name__,time = runtime))
   return value
   return function_timer

@timer_func
def Myfunction():
   for x in range(5):
   sleep_time = random.choice(range(1,3))
   time.sleep(sleep_time)

if __name__ == '__main__':
   Myfunction()

上面的Python脚本有助于导入随机时间模块。我们已经创建了timer_func()装饰器函数。它内部具有function_timer()函数。现在,嵌套函数将在调用传入的函数之前抢占时间。然后,它等待函数返回并获取结束时间。这样,我们最终可以使Python脚本打印执行时间。该脚本将生成如下所示的输出。

输出

Myfunction took 8.000457763671875 seconds to complete its execution.

什么是配置文件?

有时,程序员想衡量一些属性,例如内存的使用,时间复杂度或有关程序的特定指令的使用,以衡量该程序的实际功能。这种关于程序的度量称为概要分析。分析使用动态程序分析来进行此类测量。

在随后的部分中,我们将学习用于分析的不同Python模块。

cProfile –内置模块

cProfile是用于分析的Python内置模块。该模块是C扩展,具有合理的开销,使其适合于分析长时间运行的程序。运行后,它将记录所有功能和执行时间。它非常强大,但有时难以解释和采取行动。在以下示例中,我们在以下代码上使用cProfile-

def increment_global():

   global x
   x += 1

def taskofThread(lock):

   for _ in range(50000):
   lock.acquire()
   increment_global()
   lock.release()

def main():
   global x
   x = 0

   lock = threading.Lock()

   t1 = threading.Thread(target=taskofThread, args=(lock,))
   t2 = threading.Thread(target= taskofThread, args=(lock,))

   t1.start()
   t2.start()

   t1.join()
   t2.join()

if __name__ == "__main__":
   for i in range(5):
      main()
   print("x = {1} after Iteration {0}".format(i,x))

上面的代码保存在thread_increment.py文件中。现在,在命令行上使用cProfile执行代码,如下所示:

(base) D:\ProgramData>python -m cProfile thread_increment.py
x = 100000 after Iteration 0
x = 100000 after Iteration 1
x = 100000 after Iteration 2
x = 100000 after Iteration 3
x = 100000 after Iteration 4
      3577 function calls (3522 primitive calls) in 1.688 seconds

   Ordered by: standard name

   ncalls tottime percall cumtime percall filename:lineno(function)

   5 0.000 0.000 0.000 0.000 :103(release)
   5 0.000 0.000 0.000 0.000 :143(__init__)
   5 0.000 0.000 0.000 0.000 :147(__enter__)
   … … … …

从上面的输出中可以清楚地看出,cProfile将打印出所有3577个被调用的函数,以及每个函数所花费的时间和被调用的次数。以下是我们在输出中获得的列-

  • ncalls-这是拨打的电话数。

  • tottime-它是在给定函数花费的总时间。

  • percall-它指的是tottime除以ncalls的商。

  • cumtime-这是在此子功能和所有子功能上花费的累积时间。对于递归函数它甚至是准确的。

  • percall -cumtime除以原始调用的商。

  • filename:lineno(函数) -它基本上提供每个函数的相应数据。