python动态线程池的实现原理 python3 线程池

一、线程池

系统频繁的启动新线程,线程执行完被销毁,如果线程不能被重复使用,即每个线程都需要经过启动、销毁和运行3个过程,
这必然会使得系统的性能急剧下降,线程池的意义就在于减少线程创建及消毁过程中损失的系统资源

线程池在程序运行时创建大量空闲线程,程序只需将要执行的任务交给线程池,线程池就会启动一个空闲的线程来执行,
当任务执行完后,该线程并不会死亡销毁,而是再次返回到线程池中变成空闲状态,等待一下次被启动

 

二、concurrent.futures模块

concurrent.futures.Executor类
线程池的基类,不应该直接使用该基类,通过其具体子类使用

 

EXecutor类包含两个子类

concurrent.futures.ThreadPoolExecutor(max_workers=None, thread_name_prefix='', initializer=None, initargs=())
用于创建线程池
max_workers: 线程池中线程的个数,Python3.8版本中,默认min(32, os.cpu_count()+4)
thread_name_prefix: Python3.6版新增的参数,线程池中启动线程的名字
initializer,initargs: Python3.7版中新增的参数,初始化线程池的程序和要传入程序的参数


concurrent.futures.ProcessPoolExecutor(max_workers=None, mp_context=None, initializer=None, initargs=())
用于创建进程池
max_workers: 进程池中进程的个数,默认处理器的个数
mp_context: Python3.7版中新增的参数,允许用户控制进程池中进程的start_method
initializer,initargs: 初始化线程池的程序和要传入程序的参数

 

线程池对象方法

ThreadPoolExecutor.submit(fn, *args, **kwargs)
线程池执行的任务,返回可调用的 Future 对象
fn: 线程池要执行的函数
*args: 传递给fn函数的参数
**kwargs: 关键字形式传递给fn函数的参数

ThreadPoolExecutor.map(func, *iterables, timeout=None, chunksize=1)
类似于 map(func, *iterables) 函数,启动多个线程以异步方式对 iterables 执行 func
timeout: 超时时间,int或float类型,超时引发 concurrent.futures.TimeoutError 异常

ThreadPoolExecutor.shutdown(wait=True)
关闭线程池,不再接收新线程任务,关闭后调用 submit() 和map() 引发 RuntimeError 异常
wait: 默认True,执行完所有线程后在关闭线程池;False表示立即关闭线程池,但是线程还是可以执行

 

Future对象的方法

Future类封装了一个可调用的异步执行结果对象,Future对象由 submit() 方法创建

Future.cancel()
取消当前Future代表的线程任务
若当前任务正在执行,无法取消,返回 False,否则,该任务被取消并且返回 True

Future.cancelled()
当前Future代表的线程任务被成功取消返回 True

Future.running()
当前Future代表的线程任务正在执行,无法取消,返回 Ture

Future.done()
当前Future代表的线程任务被取消或完成返回 True

Future.result(timeout=None)
返回当前Future代表的线程任务执行的结果
timeout: 等待当前Future代表的线程任务执行结果的最大超时时间,int或float类型,默认None,永不超时;若超时,引发 concurrent.futures.TimeoutError 异常

Future.exception(timeout=None)
返回当前Future代表的线程任务执引发的异常,如没有引发任何异常,返回 False
timeout: 等待当前Future代表的线程任务执行结果的最大超时时间,int或float类型,默认None,永不超时;若超时,引发 concurrent.futures.TimeoutError 异常

Future.add_done_callback(fn)
当前Future代表的线程任务被取消或者完成,执行的函数

 

示例

import threading
from concurrent.futures import ThreadPoolExecutor

#账户类
class Account:
    def __init__(self, account_no, balance):
        #账户编号和账户余额
        self.account_no = account_no
        self.balance = balance

        self._flag = False
        self.cond = threading.Condition()
    
    def getBlance(self):
        return self.balance
    
    #提取现金方法
    def draw(self, draw_amount):
        with self.cond:
            if not self._flag:
                self.cond.wait()
            else:
                if self.balance >= draw_amount:
                    print(threading.current_thread().name+'\t取钱成功!吐出钞票:'+str(draw_amount))
                    self.balance -= draw_amount
                    print(threading.current_thread().name+'操作之后\t余额为:'+str(self.balance))
                else:
                    print(threading.current_thread().name+'\t取钱失败!余额不足!\t当前余额为:'+str(self.balance))
                self._flag = False
                self.cond.notify_all()

    #存钱方法
    def deposit(self, deposit_amount):
        with self.cond:
            if  self._flag:
                self.cond.wait()
            else:
                print(threading.current_thread().name+'\t存钱成功!存入钞票:'+str(deposit_amount))
                self.balance += deposit_amount
                print(threading.current_thread().name+'操作之后\t余额为:'+str(self.balance))
                self._flag = True
                self.cond.notify_all()

acct = Account('986623', 1000)

with ThreadPoolExecutor(100, thread_name_prefix='Account_Thread_Pool') as pools:
    for i in range(50):
        pools.submit(acct.deposit, 1000)
        pools.submit(acct.draw, 900)