python实现消息队列,python线程队列
本文主要介绍Python通过队列实现进程间通信。通过提问:多流程中各个流程之间是什么关系,感兴趣的朋友可以参考这个话题。
00-1010 1.前言2。队列介绍3。多进程队列的使用。使用队列在进程间通信。
目录
在多流程中,每个流程之间的关系是什么?实际上,每个进程都有自己的地址空间、内存、数据堆栈和其他辅助数据来记录其运行状态。这里有一个例子来验证进程是否可以直接共享信息。
定义一个全局变量g_num,创建两个子流程对g_num执行不同的操作,输出操作后的结果。
代码如下:
# _*_ coding:utf-8 _*_
从多重处理导入流程
定义加():
打印(-)
全局编号
g _编号=50
打印( g_num是%d % g_num
打印(-子流程1结束-)
def minus():
打印(-)
全局编号
g_num -=50
打印( g_num是%d % g_num
打印(-子流程2结束-)
定义一个全局变量
if __name__==__main__:
打印(-)
打印( g_num是%d % g_num
P1=进程(目标=正)#实例化进程P1
P2=进程(目标=负)#实例化进程P2
P1.start() #启动P1进程。
P2.start() #启动P2进程。
P1.join() #等待P1进程结束。
P2.join() #等待P2进程的结束
打印(-)
运行结果如图所示:
在上面的代码中,创建了两个子流程,其中一个将g_num加50,另一个将g_num减50。但是从运行结果可以看出,父进程和两个子进程中g_num的初始值都是100。也就是一个进程中全局变量g_num的结果没有传递给下一个进程,也就是说进程之间没有共享信息。
进程间示意图如图所示:
进程间的通信如何实现?Python的多处理模块包装了底层机制,并提供了许多交换数据的方式,比如队列和管道。本文将介绍如何通过队列实现进程间的通信。
一、前言
队列是模型模拟中的队列。比如学生在食堂排队买饭。新生排到队尾,前面的学生买完饭就走,后面的学生跟着。
可以看出队列有两个特点:
新生都在队列的末尾。第一个学生做完就离队了,最后一个也跟着。根据以上特点,可以归纳出队列的结构如图所示:
二、队列简介
有时候进程之间需要通信,操作系统提供了很多机制来实现进程之间的通信。你可以使用多处理模块的队列来实现多个进程之间的数据传输。队列本身是一个消息队列程序。下面是队列的使用方法。
在初始化Queue()对象时(例如:q=Queue(num)),如果括号中没有指定可以接收的最大消息数,或者该数为负数,则表示可以接收的消息数没有上限(直到内存结束)。
Queue的常用方法如下:
Queue.qsize():返回当前队列中包含的消息数。队列. emp
ty():如果队列为空,返回True;返之返回False。Queue.full():如果队列满了,返回True;反之返回False。Queue.get(block[,timeout]):获取队列中的一条信息,然后将其从队列中移除,block默认值为True。
如果block使用默认值,且没有设置timeout(单位秒),消息队列为空,此时程序将被阻塞(停在读取状态),直到从消息队列读到消息为止。如果设置了timeout,则会等待timeout秒,若还没有读取任何消息,则抛出Queue.Empty异常。
如果block值为False,消息队列为空,则会立刻抛出Queue.Empty异常。
Queue.get_nowait():相当于Queue.get(False)。Queue.put(item,[block[,timeout]]):将item消息写入队列,block默认值为True。
如果block使用默认值,且没有设置timeout(单位秒),消息队列如果已经没有空间可以写入,此时程序将被阻塞(停在写入状态),直到从消息队列腾出空间为止,如果设置了timeout,则会等待timeout秒,若还没有空间,则抛出Queue.Full异常。
如果block值为False,消息队列没有空间可写入,则会立刻抛出Queue.Full异常
Queue.put_nowait(item):相当Queue.put(item,False)。
下面,通过一个例子学习一下如何使用processing.Queue。
代码如下:
# _*_ coding:utf-8 _*_from multiprocessing import Queue
if __name__ == "__main__":
q = Queue(3)
q.put("消息1")
q.put("消息2")
print(q.full()) # 返回False
q.put("消息3")
print(q.full()) # 返回True
# 因为消息队列已满,下面的try都会抛出异常
# 第一个try会等待2秒再抛出异常,第二个try会立刻抛出异常
try:
q.put("消息4", True, 2)
except:
print("消息队列已满,现有消息数量:%s" % q.qsize())
try:
q.put_nowait("消息4")
except:
print("消息队列已满,现有消息数量:%s" % q.qsize())
# 读取消息时,先判断消息队列是否为空,再读取
if not q.empty():
print("-----从队列中获取消息-------")
for i in range(q.qsize()):
print(q.get_nowait())
# 先判读消息队列是否已满,再写入:
if not q.full():
q.put_nowait("消息4")
运行结果如图所示:
四、使用队列在进程间通信
我们知道使用multiprocessing.Process可以创建多进程,使用multiprocessing.Queue可以实现队列的操作。接下来,通过一个示例结合Process和Queue实现进程间的通信。
创建2个子进程,一个子进程负责向队列中写入数据,另外一个子进程负责从队列中读取数据。为了保证能够正确从队列中读取数据,设置读取数据的进程等待时间为2秒。如果2秒后乃然无法读取数据,则抛出异常。
代码如下:
# _*_ coding:utf-8 _*_from multiprocessing import Process, Queue
import time
# 向队列中写入数据
def write_task(q):
if not q.full():
for i in range(5):
message = "消息" + str(i)
q.put(message)
print("写入:%s" % message)
# 从队列中读取数据
def read_task(q):
time.sleep(1) # 休眠1秒
while not q.empty():
print("读取:%s" % q.get(True, 2)) # 等待2秒中,如果没有读取到任何信息,则抛出异常
if __name__ == "__main__":
print("--------父进程开始---------")
q = Queue() # 父进程创建Queue,并传给各个子进程
pw = Process(target=write_task, args=(q,)) # 实例化写入队列的子进程,并传递给队列
pr = Process(target=read_task, args=(q,)) # 实例化读取队列的子进程,并传递给队列
pw.start() # 启动子进程pw,写入
pr.start() # 启动子进程pr,读取
pw.join() # 等待pw结束
pr.join() # 等待pr结束
print("-------父进程结束-----------")
运行结果如下:
到此这篇关于Python通过队列实现进程间通信详情的文章就介绍到这了,更多相关Python进程间通信 内容请搜索盛行IT软件开发工作室以前的文章或继续浏览下面的相关文章希望大家以后多多支持盛行IT软件开发工作室!
郑重声明:本文由网友发布,不代表盛行IT的观点,版权归原作者所有,仅为传播更多信息之目的,如有侵权请联系,我们将第一时间修改或删除,多谢。