python 多进程 log python 多进程 gil

转载

mob64ca1407d5aa 2023-09-18 22:32:27

文章标签 python 多进程 log python多线程多进程 ci 多线程 文章分类 Python 后端开发

并发和并行

并发：“同时”执行多个任务，注意->伪同时，并发就是在同一主体不同时间段间隔执行多个任务。

并行：同时执行多个任务，注意->同时

python多线程

python多线程是，想必大家也知道这个多线程并不能发挥最大作用，不同于其他语言可以利用好多个核心处理器使其物尽其用，这就是因为全局锁GIL的存在才导致的。

全局锁GIL的概念：当初在设计python解释器的时候就把GIL引入，目的就是使python是线程安全的。当有多个线程需要CPU资源的时候就必须要先拿到GIL锁，并且在没有获得锁的线程是无法获得CPU资源的，GIL是加在进程上的锁。

直观一点的，从网上直接找了一张图很形象的展现了这个：

图中表示的是两个线程在双核CPU上得执行情况。两个线程均为CPU密集型运算线程。绿色部分表示该线程在运行，且在执行有用的计算，红色部分为线程被调度唤醒，但是无法获取GIL导致无法进行有效运算等待的时间。

python 多进程 log python 多进程 gil_多进程

可以看出，GIL的存在导致多线程无法很好的利用多核CPU的并发处理能力。

python多进程

python多线程因为GIL的存在，导致根本无法利用多核资源，所以必须找一个替代的。那么就是利用多进程了，每个进程有一个GIL锁，这样每个进程是可以并行的，这样就可以提高效率啦。

使用multiprocessing模块来开启多进程。一个案例：

from multiprocessing import Pool
from scrapy import cmdline

def run_one_py(city_name):
    cmd = "scrapy crawl " + city_name
    cmdline.execute(cmd.split())

if __name__ == '__main__':
    print 'start process'
    p = Pool(4)
    list_city = ['gs_by_project', 'gs_dx_project', 'gs_gnzz_project', 'gs_gs_project', 'gs_hl_project', 'gs_jyg_project',
                 'gs_jc_project', 'gs_jq_project', 'gs_jqdh_project', 'gs_lz_project', 'gs_lxhz_project', 'gs_ln01_project',
                 'gs_ln_project', 'gs_pl_project', 'gs_plcx_project', 'gs_plht_project', 'gs_pljn_project', 'gs_pllt_project',
                 'gs_qy_project', 'gs_ts_project', 'gs_ww_project', 'gs_zy_project', 'gs_zygt_project', 'gs_zylz_project',
                 'gs_zyml_project', 'gs_zysd_project', 'gs_zysn_project']
    for city in list_city:
        p.apply_async(run_one_py, args=(city,))
    print('Waiting for all subprocesses done...')
    p.close()
    p.join()
    print('All subprocesses done.')

这个是使用了进程池的一个案例，期中Pool的参数最好是你电脑的核心处理器的个数。

python 多进程 log python 多进程 gil_多线程_02

一般我们都是4核的。

前段时间也遇到一个问题，就是上面这段代码用来跑scrapy，结果在跑的过程中，发现我的一个类变量被意外地修改。开始时我想了很久也不知道什么原因。因为每个进程之间是不共享数据的，每个进程都是独立的，怎么会修改我的变量呢？很奇怪，不过后来猜测原因是我的processes变量定义的是4，我的是4核的cpu，所以算起来我的核心处理器使用完了。这就是问题的根源，因为我在跑程序的时候又去写代码了然后会测试新的程序，这样我就会重复使用一个核心处理器，这样就相当于有一个进程中我跑了多线程，然后多线程的数据又是在一块共享的内存中的，所以才导致这个问题。