python 进程池 没生效 python进程池的作用

进程池可以像创建和使用线程池一样创建和使用。 进程池可以被定义为一组预先实例化和空闲的进程，它们随时可以开始工作。 当我们需要执行大量任务时，创建进程池优于为每个任务实例化新进程。

Python模块 - Concurrent.futures
Python标准库有一个叫做concurrent.futures的模块。 这个模块是在Python 3.2中添加的，为开发人员提供了启动异步任务的高级接口。 它是Python的线程和多处理模块的顶层的一个抽象层，用于提供使用线程或进程池运行任务的接口。

执行者类
Executor是 Python concurrent.futures模块的抽象类。 它不能直接使用，我们需要使用以下具体子类之一

• ThreadPoolExecutor
• ProcessPoolExecutor

ProcessPoolExecutor -
一个具体的子类它是Executor类的具体子类之一。 它使用多重处理，并且我们获得提交任务的过程池。 此池将任务分配给可用的进程并安排它们运行。

如何创建一个ProcessPoolExecutor？
通过concurrent.futures模块及其具体子类Executor的帮助，可以轻松创建一个过程池。 为此，需要构建一个ProcessPoolExecutor，其中包含需要的池中的进程数。 默认情况下，数字为8。然后将任务提交到进程池。

from concurrent.futures import ProcessPoolExecutor
from time import sleep


def task(message):
    sleep(2)
    return message


def main():
    executor = ProcessPoolExecutor(8)
    future = executor.submit(task, ("Completed"))
    print(future.done())
    sleep(2)
    print(future.done())
    print(future.result())


if __name__ == '__main__':
    main()

在上面的例子中，一个ProcessPoolExecutor已经被构造成8个线程。 然后在提交消息之前等待2秒的任务被提交给进程池执行器。 从输出中可以看出，任务直到2秒才完成，所以第一次调用done()将返回False。2秒后，任务完成，通过调用result()方法得到未来的结果。

实例化ProcessPoolExecutor - 上下文管理器实例化ProcessPoolExecutor的另一种方法是借助上下文管理器。 它的工作方式与上例中使用的方法类似。 使用上下文管理器的主要优点是它在语法上看起来不错。

with ProcessPoolExecutor(max_workers = 5) as executor

为了更好地理解，这里演示创建线程池示例。 在这个例子中，我们需要从导入concurrent.futures模块开始。 然后创建一个名为load_url()的函数，它将加载请求的url。 然后使用池中的5个线程创建ProcessPoolExecutor。 ProcessPoolExecutor已被用作上下文管理器。 我们可以通过调用result()方法来获得future的结果。

import concurrent.futures
from concurrent.futures import ProcessPoolExecutor
import urllib.request

URLS = ['http://www.baidu.com/',
        'http://www.cnn.com/',
        'http://python.org/',
        ]


def load_url(url, timeout):
    with urllib.request.urlopen(url, timeout=timeout) as conn:
        return conn.read()


def main():
    with concurrent.futures.ProcessPoolExecutor(max_workers=5) as executor:
        future_to_url = {executor.submit(load_url, url, 60): url for url in URLS}
        for future in concurrent.futures.as_completed(future_to_url):
            url = future_to_url[future]
            try:
                data = future.result()
            except Exception as exc:
                print('%r generated an exception: %s' % (url, exc))
            else:
                print('%r page is %d bytes' % (url, len(data)))


if __name__ == '__main__':
    main()

使用Executor.map()函数Python map()函数广泛用于执行许多任务。 一个这样的任务是对可迭代内的每个元素应用某个函数。 同样，可以将迭代器的所有元素映射到函数，并将这些作为独立作业提交给ProcessPoolExecutor。 考虑下面的Python脚本示例来理解这一点。

from concurrent.futures import ProcessPoolExecutor
from concurrent.futures import as_completed

values = [2, 3, 4, 5]

def square(n):
    return n * n


def main():
    with ProcessPoolExecutor(max_workers=3) as executor:
        results = executor.map(square, values)
    for result in results:
        print(result)


if __name__ == '__main__':
    main()