运维视角:rabbitmq教程(四)工作模式
创始人
2024-05-31 21:03:58
0

今天这篇文章,通过python代码来测试rabbitmq交换机以及队列的工作模式,以此更加透彻的理解它的工作方式

一、简单模式

1、测试代码

生产者代码:

import pikauser_info = pika.PlainCredentials('admin', 'admin')
connection = pika.BlockingConnection(pika.ConnectionParameters('192.168.2.14', '5672', '/', user_info))
channel = connection.channel()  # 创建一个channel
channel.queue_declare(queue='hello')  # 如果指定的queue不存在,则会创建一个queue,如果已经存在 则不会做其他动作for i in range(3):new_dic = {"name"+str(i): ""+str(i)}# channel.basic_publish(exchange='', routing_key='hello', body=b'hello world_'+str(i).encode('utf-8'))channel.basic_publish(exchange='', routing_key='hello', body=str(new_dic).encode('utf-8'))# print("send success...")
connection.close()  # 关闭连接

消费者代码:

import pikauser_info = pika.PlainCredentials('admin', 'admin')
connection = pika.BlockingConnection(pika.ConnectionParameters('192.168.2.14', '5672', '/', user_info))
channel = connection.channel()  # 创建一个channel
channel.queue_declare(queue='hello')# 回调函数
def callback(ch, method, properties, body):# print('消费者收到:{}'.format(body))print(body.decode('utf-8'))channel.basic_consume(queue='hello',  # 接收指定queue的消息auto_ack=True,  # 指定为True,表示消息接收到后自动给消息发送方回复确认,已收到消息on_message_callback=callback  # 设置收到消息的回调函数)channel.start_consuming()   # 一直处于等待接收消息的状态,如果没收到消息就一直处于阻塞状态,收到消息就调用上面的回调函数

如果再运行一个消费者(两个消费者),当有生产者生产消息的时候,会出现轮训的效果,即,每个消费者消费一个消息;

2、消息确认

当处理一个比较耗时得任务的时候,你也许想知道消费者(consumers)是否运行到一半就挂掉。当前的代码中,当消息被RabbitMQ发送给消费者(consumers)之后,马上就会在内存中移除;这种情况,你只要把一个工作者(worker)停止,正在处理的消息就会丢失。同时,所有发送到这个工作者的还没有处理的消息都会丢失。

证实该现象的测试:

往一个队列中存储了100个消息,开启一个消费者工作,中途模拟消费者中断或崩溃。终端查询队列,消息显示为0;队列将100个消息发个消费者,不管消费者是否正确处理,就直接删除了这些消息,不做存留;

为了防止消息丢失,RabbitMQ提供了消息响应(acknowledgments)。消费者会通过一个ack(响应),告诉RabbitMQ已经收到并处理了某条消息,然后RabbitMQ就会释放并删除这条消息。
如果消费者(consumer)挂掉了,没有发送响应,RabbitMQ就会认为消息没有被完全处理,然后重新发送给其他消费者(consumer)。这样,及时工作者(workers)偶尔的挂掉,也不会丢失消息。
消息是没有超时这个概念的;当工作者与它断开连的时候,RabbitMQ会重新发送消息。这样在处理一个耗时非常长的消息任务的时候就不会出问题了。
在消费者回调函数中添加 basic_ack 方法,示例:

def callback(ch, method, properties, body):print(" [x] Received %r" % body)time.sleep(1)ch.basic_ack(delivery_tag=method.delivery_tag)  # 消息确认

basic_ack 不可与 auto_ack 一同使用,会报错

3、持久化

——队列持久化

channel.queue_declare(queue='task_queue', durable=True)

在生产者、消费者代码中,添加 durable=True 可以使队列持久化,如:重启rabbitmq后创建的队列不丢失;
[shell]# rabbitmqctl list_queues 查看队列以及消息数量

——消息持久化

channel.basic_publish(exchange='',routing_key="task_queue",body=str(new_dic).encode('utf-8'),properties=pika.BasicProperties(delivery_mode=2,  # make message persistent))

在生产者代码中,设置 properties 方法值 delivery_mode=2 参数,可以使消息持久化,没有被处理的消息会保存在队列中;

4、公平调度

以上的代码,一直是按照轮训的方式来派发消息的。比如有两个工作者(workers),处理奇数消息的比较繁忙,处理偶数消息的比较轻松。然而RabbitMQ并不知道这些,它仍然一如既往的派发消息。
可以使用basic.qos方法,并设置prefetch_count=1。这样是告诉RabbitMQ,再同一时刻,不要发送超过1条消息给一个工作者(worker),直到它已经处理了上一条消息并且作出了响应。这样,RabbitMQ就会把消息分发给下一个空闲的工作者(worker)。

channel.basic_qos(prefetch_count=1)

示例配置:

...
def callback(ch, method, properties, body):print(" [x] Received %r" % body)time.sleep(1)ch.basic_ack(delivery_tag=method.delivery_tag)  # 消息确认channel.basic_qos(prefetch_count=1)  # 一次性取几个消息
channel.basic_consume('task_queue', callback)
...

二、发布订阅模式

将同一个消息发送给多个消费者;

1.1-生产者代码

import pikauser_info = pika.PlainCredentials('admin', 'admin')
connection = pika.BlockingConnection(pika.ConnectionParameters('192.168.2.13', '5672', '/', user_info))
channel = connection.channel()  # 创建一个channel
channel.exchange_declare(exchange='logs', exchange_type='fanout')   # 创建一个fanout交换机,命名为logsfor i in range(10):new_dic = {"name" + str(i): "" + str(i)}channel.basic_publish(exchange='logs', routing_key='', body=str(new_dic).encode('utf-8'))print(" [x] Sent %r" % new_dic)connection.close()

1.2-消费者代码一

(临时队列和随机的队列名称)

import pikauser_info = pika.PlainCredentials('admin', 'admin')
connection = pika.BlockingConnection(pika.ConnectionParameters('192.168.2.14', '5672', '/', user_info))
channel = connection.channel()  # 创建一个channelchannel.exchange_declare(exchange='logs', exchange_type='fanout')   # 创建一个fanout交换机,命名为logs
result = channel.queue_declare(exclusive=True, queue="")      # 临时队列(exclusive=True表示断开连接时,这个队列被删除)
queue_name = result.method.queue        # 获取随机队列名
channel.queue_bind(exchange='logs', queue=queue_name)   # 将队列和交换机绑定def callback(ch, method, properties, body):print(" [x] Received %r" % body)channel.basic_consume(queue_name, callback)
channel.start_consuming()

1.3-消费者代码二

(指定的队列名称)

import pika
import timeuser_info = pika.PlainCredentials('admin', 'admin')
connection = pika.BlockingConnection(pika.ConnectionParameters('192.168.2.14', '5672', '/', user_info))
channel = connection.channel()  # 创建一个channelchannel.exchange_declare(exchange='logs', exchange_type='fanout')   # 创建一个fanout交换机,命名为logs
# channel.queue_declare(exclusive=True, queue="bind_queue_test")      # 创建一个临时队列(exclusive=True表示断开连接时,这个队列被删除)
channel.queue_declare(queue="bind_queue_test", durable=True)      # 创建一个队列channel.queue_bind(exchange='logs', queue="bind_queue_test")   # 将队列和交换机绑定def callback(ch, method, properties, body):print(" [x] Received %r" % body)channel.basic_consume("bind_queue_test", callback)
channel.start_consuming()

2.1-测试结论

发布订阅的方式可以实现将消息同时发给多个消费者;
它是通过扇形交换机(exchange_type=‘fanout’)实现的。扇形交换机会将消息复制发送到与其绑定的队列中,每个队列会同时接到相同的消息;所以【消费者代码一】中创建的队列名称都是临时(独占)、随机的,这样的话,其他消费者就不能消费这个队列,也不会冲突;
当然,也可以创建指定的队列名称并持久化。但是这样的消费者不能是多个,否则在这个队列中就会是轮训的分发消息了;

2.2-验证测试

步骤:
1、运行了一个【消费者代码一】;
2、运行了两个【消费者代码二】:消费者代码A和消费者代码B;
3、运行【生产者代码】;发送 0到9 个消息;
结果:
【消费者代码一】全部接收到了 0-9 个消息;
【消费者代码A】接收到了 0、2、4、6、8;
【消费者代码B】接收到了 1、3、5、7、9;

三、路由模式

生产者和消费者设置 routing_key 参数;路由器通过该参数来判断消息转发给哪个队列;

1.1-生产者

import pikauser_info = pika.PlainCredentials('admin', 'admin')
connection = pika.BlockingConnection(pika.ConnectionParameters('192.168.2.13', '5672', '/', user_info))
channel = connection.channel()  # 创建一个channel
channel.exchange_declare(exchange='direct_logs', exchange_type='direct')    # 创建直连交换机severity = "error"  # 绑定的routing_key
message = "messages test ---- " + severity  # 要发送的消息
channel.basic_publish(exchange='direct_logs', routing_key=severity, body=str(message).encode('utf-8'))
print(" [x] Sent %r:%r" % (severity, message))connection.close()

1.2-消费者一

routing_key 为“info”

import pika
import timeuser_info = pika.PlainCredentials('admin', 'admin')
connection = pika.BlockingConnection(pika.ConnectionParameters('192.168.2.14', '5672', '/', user_info))
channel = connection.channel()  # 创建一个channel
channel.exchange_declare(exchange='direct_logs', exchange_type='direct')result = channel.queue_declare(exclusive=True, queue="")  # 创建一个临时随机名称的队列(exclusive=True表示断开连接时,这个队列被删除)
queue_name = result.method.queue  # 获取随机队列名
severity = "info"
channel.queue_bind(exchange='direct_logs', queue=queue_name, routing_key=severity)  # 将队列和交换机绑定def callback(ch, method, properties, body):print(" [x] %r:%r" % (method.routing_key, body,))channel.basic_consume(queue_name, callback)
channel.start_consuming()

1.3-消费者二

routing_key 为“error”

import pika
import timeuser_info = pika.PlainCredentials('admin', 'admin')
connection = pika.BlockingConnection(pika.ConnectionParameters('192.168.2.14', '5672', '/', user_info))
channel = connection.channel()  # 创建一个channel
channel.exchange_declare(exchange='direct_logs', exchange_type='direct')result = channel.queue_declare(exclusive=True, queue="")  # 创建一个临时随机名称的队列(exclusive=True表示断开连接时,这个队列被删除)
queue_name = result.method.queue  # 获取随机队列名
severity = "error"
channel.queue_bind(exchange='direct_logs', queue=queue_name, routing_key=severity)  # 将队列和交换机绑定def callback(ch, method, properties, body):print(" [x] %r:%r" % (method.routing_key, body,))channel.basic_consume(queue_name, callback)
channel.start_consuming()

2.1-测试结论

通过设置 routing_key 参数,可以指定消息发送到哪个队列;
验证方法:多个消费者绑定同一个 routing_key;
但是,扇型交换机(fanout exchange)没有足够的灵活性 —— 它能做的仅仅是广播;
通过绑定 routing_key 的方式可以让直连交换机实现类似于扇形交换机发布订阅的效果;(扇形交换机会忽略routing_key这个参数)

2.2-验证测试

步骤:
1、运行消费者一和二;
2、运行生产者;
结果:
当 routing_key 为 info 时,消息发送到了消费者一;当 routing_key 为 error 时,消息发送到了消费者二;

四、主题交换机

主题交换机的路由键必须是一个由.分隔开的词语列表,如:“stock.usd.nyse”, “nyse.vmw”, “quick.orange.rabbit”。词语的个数可以随意,但是不要超过255字节。
● * (星号) 用来表示一个单词.
● # (井号) 用来表示任意数量(零个或多个)单词。
在这里插入图片描述
Q1的绑定键为 .orange.,Q2的绑定键为 ..rabbit 和 lazy.#
示例:
携带有 quick.orange.rabbit 的消息将会被分别投递给这两个队列;
携带着 lazy.orange.elephant 的消息同样也会给两个队列都投递过去;
携带有 quick.orange.fox 的消息会投递给第一个队列;
携带有 lazy.brown.fox 的消息会投递给第二个队列;
携带有 lazy.pink.rabbit 的消息只会被投递给第二个队列一次,即使它同时匹配第二个队列的两个绑定;
携带着 quick.brown.fox 的消息不会投递给任何一个队列。
如果我们违反约定,发送了一个携带有一个单词或者四个单词(“orange” or “quick.orange.male.rabbit”)的消息时,发送的消息不会投递给任何一个队列,而且会丢失掉。
但是另一方面,即使 “lazy.orange.male.rabbit” 有四个单词,他还是会匹配最后一个绑定,并且被投递到第二个队列中。

1.1-生产者

import pikauser_info = pika.PlainCredentials('admin', 'admin')
connection = pika.BlockingConnection(pika.ConnectionParameters('192.168.2.13', '5672', '/', user_info))
channel = connection.channel()  # 创建一个channel
channel.exchange_declare(exchange='topic_logs', exchange_type='topic')  # 创建一个主题交换机routing_key = "lazy.orange.male.rabbit"
message = "messages test ---- " + routing_key  # 要发送的消息channel.basic_publish(exchange='topic_logs', routing_key=routing_key, body=str(message).encode('utf-8'))print(" [x] Sent %r:%r" % (routing_key, message))connection.close()

1.2-消费者一

import pikauser_info = pika.PlainCredentials('admin', 'admin')
connection = pika.BlockingConnection(pika.ConnectionParameters('192.168.2.14', '5672', '/', user_info))
channel = connection.channel()  # 创建一个channel
channel.exchange_declare(exchange='topic_logs', exchange_type='topic')  # 创建一个主题交换机result = channel.queue_declare(exclusive=True, queue="")  # 创建一个临时随机名称的队列(exclusive=True表示断开连接时,这个队列被删除)
queue_name = result.method.queue  # 获取随机队列名binding_key = "*.orange.*"	# 绑定路由
channel.queue_bind(exchange='topic_logs', queue=queue_name, routing_key=binding_key)  # 将队列和交换机绑定def callback(ch, method, properties, body):print(" [x] %r:%r" % (method.routing_key, body,))channel.basic_consume(queue_name, callback)
channel.start_consuming()

1.2-消费者二

import pikauser_info = pika.PlainCredentials('admin', 'admin')
connection = pika.BlockingConnection(pika.ConnectionParameters('192.168.2.15', '5672', '/', user_info))
channel = connection.channel()  # 创建一个channel
channel.exchange_declare(exchange='topic_logs', exchange_type='topic')  # 创建一个主题交换机result = channel.queue_declare(exclusive=True, queue="")  # 创建一个临时随机名称的队列(exclusive=True表示断开连接时,这个队列被删除)
queue_name = result.method.queue  # 获取随机队列名binding_key = "*.*.rabbit"	# 绑定路由
channel.queue_bind(exchange='topic_logs', queue=queue_name, routing_key=binding_key)  # 将队列和交换机绑定
channel.queue_bind(exchange='topic_logs', queue=queue_name, routing_key="lazy.#")  # 将队列和交换机绑定,并绑定路由def callback(ch, method, properties, body):print(" [x] %r:%r" % (method.routing_key, body,))channel.basic_consume(queue_name, callback)
channel.start_consuming()

五、其他

这期的文章主要集中在了python上,编辑python代码来模拟生产者和消费者,以此发送、接收消息,能更加清楚的理解运作原理;
本篇文章中的代码案例部分基于rabbitmq的官方文档,同时也采集、测试了网上其他的代码案例,综合考量,更容易理解;

相关内容

热门资讯

2025年亚洲皮划艇静水锦标赛... 来源:中国新闻网 中新社南昌5月10日电 (记者 吴鹏泉)2025年亚洲皮划艇静水锦标赛10日在江西...
婚姻登记“全国通办”10日起实... 转自:千龙网今天(10日)起,新修订的《婚姻登记条例》正式施行,婚姻登记“全国通办”打破了婚姻登记当...
“青岛行人相撞案”现场视频公布... 转自:扬子晚报近日,山东省青岛市李沧区人民法院发布的“两行人相撞案”普法案例引发争议,央视《法治在线...
防震减灾,政企校联动为居民送上... 转自:扬子晚报迎接第17个全国防震减灾日,5 月 9 日,一场“人人讲安全 个个会应急”主题活动在无...
启动!80余位院士专家齐聚福建... 5月10日,农林生物安全全国重点实验室建设启动会暨第一届学术委员会第一次会议在福建农林大学常盛会议中...
鄂尔多斯市“绿茵小将”青少年足... 转自:草原云5月9日,鄂尔多斯市“绿茵小将”青少年足球挑战赛总决赛在伊金霍洛旗青少年足球训练基地拉开...
乌外长:准备下周一开始停火,至... 5月10日,乌克兰外长瑟比加通过社交平台“X”账号发布消息称,“意愿联盟”会议在乌克兰基辅举行之后,...
第一观察·瞬间丨为共同的历史和... 莫斯科天阔云舒,荣耀的红场恢弘庄严。当地时间5月9日,俄罗斯举行盛大庆典,纪念苏联伟大卫国战争胜利8...
涉嫌严重违纪违法!梁伟被查 本文来自微信公众号“大象新闻”中央纪委国家监委网站据贵州省纪委监委消息:贵州省总工会党组成员、副主席...
铁肩担道义,历史鉴未来 2025年5月7日至10日,国家主席习近平应邀对俄罗斯进行国事访问并出席纪念苏联伟大卫国战争胜利80...
上海各区相继启动适龄幼儿入园报... 转自:上观新闻近日,上海各区相继启动适龄幼儿入园报名验证工作。完成信息登记后,父母或其他法定监护人可...
印方称停火由印巴双方直接达成 转自:北京日报客户端据法新社10日最新消息,印度政府消息人士表示,印度和巴基斯坦停火“由两国直接协商...
巴启动“铜墙铁壁”回应印“朱砂... 转自:千龙网巴基斯坦军方官员10日表示,巴军方已启动代号为“铜墙铁壁”的军事行动,回应印军对巴多地的...
新华全媒+ | 科技赋能 向“... 新华社杭州5月10日电 题:科技赋能向“新”发展——2025世界品牌莫干山大会观察新华社记者魏一骏、...
好博窗控深交所IPO终止:国信... 乐居财经 李兰 5月10日,深圳好博窗控技术股份有限公司(以下简称“好博窗控”)深交所IPO终止,因...
幼儿园保安界再现扫地僧幼儿园魔... 转自:JSTV荔枝视频 【#幼儿园保安界再现扫地僧##幼...
中超刮起青春风暴 #王钰栋领跑射手榜#【#中超刮起青春风暴#】5月11日,中超联赛迎来第12轮比赛。浙江队小将王钰栋梅...
鄂州:锁死中小学教师编制总量,... 据湖北鄂州市委编办消息,近期,该市统筹配置教育领域编制资源经验做法获《中国机构编制》杂志刊登。相关文...
博纳影业董事长于冬,被警示! 转自:天津日报博纳影业8日晚间发布公告称,公司收到新疆证监局出具的《关于对博纳影业集团股份有限公司采...
南昌又一重要地标!市政公用大厦... 转自:南昌发布南昌市政公用大厦项目建设现场,施工人员正在紧锣密鼓进行主楼底板混凝土浇筑作业。目前,项...