python multiprocessing 数据共享

转载

mob64ca141677f9 2024-11-23 17:57:06

文章标签 python 共享内存 Python 信号量 文章分类 Python 后端开发

文章目录

Python posix_ipc库：共享内存访问示例

1. POSIX IPC和Python
2. 安装并导入posix_ipc模块
3. 使用posix_ipc进行共享内存管理

3.1 创建共享内存
3.2 访问共享内存
3.3 在另一个Python程序中访问共享内存

4. 示例代码：一个程序创建共享内存，另一个程序访问它

4.1 创建共享内存
4.2 访问共享内存

5. 示例代码：一个进程创建并写入共享内存，另一个读取共享内存。在这两个操作之间使用信号量（Semaphore）来同步（实现互斥，避免读到脏数据）

创建和写入共享内存
读取共享内存

6. 限制与注意事项

Python posix_ipc库：共享内存访问示例

在本文中，将深入探索Python的posix_ipc库，重点是如何使用它来实现不同Python程序对同一块共享内存的访问。将详细介绍基本概念，使用案例，并通过代码示例加以说明。

1. POSIX IPC和Python

POSIX IPC (Inter-process Communication) 是一个跨进程通信标准，允许不同的进程间共享数据和发送消息。Python的posix_ipc库为这个强大的工具提供了接口。

这种能力非常重要，因为多个并行运行的Python进程通常不能直接共享信息。通过共享内存，可以实现数据的即时共享和低延迟通信。

2. 安装并导入posix_ipc模块

在开始之前，需要安装posix_ipc模块。可以通过pip轻松完成：

pip install posix_ipc

安装完成后，就可以在Python代码中导入此模块：

import posix_ipc

3. 使用posix_ipc进行共享内存管理

posix_ipc模块提供了一个SharedMemory类，可以用于创建、连接和控制共享内存段。

3.1 创建共享内存

首先，需要创建一个共享内存对象。可以通过调用SharedMemory()并传递一个唯一的名称来实现：

memory = posix_ipc.SharedMemory("/unique_name", flags=posix_ipc.O_CREX, size=4096)

这会在系统中创建一个新的共享内存段，其大小为4096字节。

3.2 访问共享内存

创建了共享内存后，需要将其映射到当前进程的地址空间才能进行读写操作。可以使用mmap模块的mmap()函数来实现：

import mmap

mapped_memory = mmap.mmap(memory.fd, memory.size)

然后，可以像操作普通Python byte数组一样操作mapped_memory对象。

3.3 在另一个Python程序中访问共享内存

另一个Python程序可以通过相同的名称连接到已存在的共享内存：

memory = posix_ipc.SharedMemory("/unique_name")
mapped_memory = mmap.mmap(memory.fd, memory.size)

然后，就可以对mapped_memory进行读写操作，与在创建它的程序中一样。

4. 示例代码：一个程序创建共享内存，另一个程序访问它

4.1 创建共享内存

创建一个名为create_memory.py的文件，包含以下代码：

import mmap
import posix_ipc

# 创建共享内存
memory = posix_ipc.SharedMemory("/unique_name", flags=posix_ipc.O_CREX, size=4096)

# 将共享内存映射到当前进程的地址空间
mapped_memory = mmap.mmap(memory.fd, memory.size)

# 向共享内存写入数据
mapped_memory[:4] = b"test"

这个程序创建了一个大小为4096字节的共享内存段，并写入了4字节的数据。

4.2 访问共享内存

创建另一个名为access_memory.py的文件，包含以下代码：

import mmap
import posix_ipc

# 连接到已存在的共享内存
memory = posix_ipc.SharedMemory("/unique_name")

# 将共享内存映射到当前进程的地址空间
mapped_memory = mmap.mmap(memory.fd, memory.size)

# 从共享内存读取数据
print(mapped_memory[:4])

这个程序连接到同一块共享内存，并读取并打印先前写入的数据。

5. 示例代码：一个进程创建并写入共享内存，另一个读取共享内存。在这两个操作之间使用信号量（Semaphore）来同步（实现互斥，避免读到脏数据）

创建和写入共享内存

在第一个程序中，首先创建一个名为semaphore的信号量，并将其值设为0。然后，写入共享内存并通过增加信号量的值释放它。

import mmap
import posix_ipc

# 创建信号量
semaphore = posix_ipc.Semaphore("/semaphore", flags=posix_ipc.O_CREX, initial_value=0)

# 创建共享内存
memory = posix_ipc.SharedMemory("/unique_name", flags=posix_ipc.O_CREX, size=4096)

# 将共享内存映射到当前进程的地址空间
mapped_memory = mmap.mmap(memory.fd, memory.size)

# 向共享内存写入数据
mapped_memory[:4] = b"test"

# 通过增加信号量的值释放它
semaphore.release()

读取共享内存

在第二个程序中，首先打开名为semaphore的信号量。然后，等待信号量（阻塞），直到它的值大于0，然后读取共享内存。

import mmap
import posix_ipc

# 打开信号量
semaphore = posix_ipc.Semaphore("/semaphore")

# 等待信号量
semaphore.acquire()

# 连接到已存在的共享内存
memory = posix_ipc.SharedMemory("/unique_name")

# 将共享内存映射到当前进程的地址空间
mapped_memory = mmap.mmap(memory.fd, memory.size)

# 从共享内存读取数据
print(mapped_memory[:4])

这样就确保了在读取共享内存之前，必须先写入共享内存。同时，使用信号量可以防止同时访问共享内存，避免数据冲突。