python脚本并发执行同一脚本

原创

mob64ca12ec8020 2024-09-22 07:06:23 ©著作权

文章标签 Python 多进程 python 文章分类 Python 后端开发

©著作权归作者所有：来自51CTO博客作者mob64ca12ec8020的原创作品，请联系作者获取转载授权，否则将追究法律责任

在Python中实现脚本的并发执行

在如今的开发实践中，并发执行是提高程序执行效率的重要手段。特别是当你需要执行多个相同的任务时，并发可以显著提高效率。这篇文章将指导你如何使用Python脚本并发执行同一脚本的过程。

流程概览

在开始之前，我们来看看实现这一目标的基本流程：

步骤	描述
1	确定任务和设置环境
2	编写待并发执行的Python脚本
3	使用多进程或线程库进行并发
4	测试和验证并发执行结果

flowchart TD
    A[确定任务和设置环境] --> B[编写待并发执行的Python脚本]
    B --> C[使用多进程或线程库进行并发]
    C --> D[测试和验证并发执行结果]

实现步骤详解

第一步：确定任务和设置环境

在这一步中，你需要清楚自己想要执行的任务类型。如果你的任务是IO密集型（如网络请求），可以选择线程；如果是CPU密集型（如数据处理），可以选择多进程。

设置开发环境，确保你在系统上已安装Python，以及必要的库，如multiprocessing或threading。

第二步：编写待并发执行的Python脚本

在这个步骤中，我们需要编写一个简单的Python脚本，例如一个打印当前时间的脚本。新建一个文件 task.py，并编写如下代码：

# task.py
import time
from datetime import datetime

def print_time():
    # 打印当前时间
    print(f"当前时间: {datetime.now()}")
    # 模拟耗时操作
    time.sleep(2)

# 如果这个模块是主程序，执行print_time函数
if __name__ == "__main__":
    print_time()

第三步：使用多进程或线程库进行并发

在这一阶段，我们将选择使用多进程库 multiprocessing 来执行刚刚编写的脚本。创建另一个脚本 main.py，并编写如下代码：

# main.py
import subprocess
import time

def run_task():
    # 使用subprocess调用task.py脚本
    subprocess.run(["python", "task.py"])

if __name__ == "__main__":
    # 启动并发执行的进程数
    num_processes = 5
    processes = []

    # 创建多个进程
    for _ in range(num_processes):
        process = subprocess.Popen(["python", "task.py"])
        processes.append(process)

    # 等待所有进程完成
    for process in processes:
        process.wait()
    print("所有进程已完成")

代码注释说明：

subprocess.run：可以调用其他Python脚本，这里用来运行 task.py.
subprocess.Popen：启动多个子进程并发执行 task.py.
process.wait()：等待每一个子进程执行完。

第四步：测试和验证并发执行结果

在完成以上步骤后，运行 main.py 文件。你可以在终端中执行以下命令：

python main.py

运行后，你将看到多个相同的输出，显示当前时间，但由于每个进程都有一个 time.sleep(2) 的延迟，因此你会观察到并发的效果。

状态图

为了更好地理解整个流程，我们还可以用状态图来表示各个步骤的进度和状态变化：

stateDiagram
    [*] --> 确定任务和设置环境
    确定任务和设置环境 --> 编写待并发执行的Python脚本
    编写待并发执行的Python脚本 --> 使用多进程或线程库进行并发
    使用多进程或线程库进行并发 --> 测试和验证并发执行结果
    测试和验证并发执行结果 --> [*]