本博客日IP超过2000,PV 3000 左右,急需赞助商。
极客时间所有课程通过我的二维码购买后返现24元微信红包,请加博主新的微信号:xttblog2,之前的微信号好友位已满,备注:返现
受密码保护的文章请关注“业余草”公众号,回复关键字“0”获得密码
所有面试题(java、前端、数据库、springboot等)一网打尽,请关注文末小程序
腾讯云】1核2G5M轻量应用服务器50元首年,高性价比,助您轻松上云
在分布式大肆流行的趋势下,MQ 也成了面试中不可缺少的一部分。懂 MQ,会 MQ 往往能给自己加分。相反,则可能意外被淘汰!
今天,乘着难得的空闲机会,我给大家简单总结一下,RocketMQ的顺序消息、重复消息、事务消息和消息存储。希望能够对大家有所帮助!
顺序消息:顾名思义,就是要保证需要按顺序消费的消息集发送到同一消息队列,同时消费消息成功后给予回执。
消息生产端发送消息的时候实现指定消息队列方法[把订单号取了做了一个取模运算再丢到 selector 中,selector 保证同一个模的都会投递到同一条 queue。
即:相同订单号的 –> 有相同的模 –> 有相同的 queue。
重复消息主要靠业务端实现。消费端处理消息的业务逻辑保持幂等性,保证每条消息都有唯一编号且保证消息处理成功与去重表的日志同时出现。
事务消息,要分别在发送端和订阅端配合处理。发送端:
- 第一阶段发送Prepared消息时,会拿到消息的地址
- 第二阶段执行本地事物
- 第三阶段通过第一阶段拿到的地址去访问消息,并修改消息的状态。定期扫描消息集群中的事物消息,处理Prepared消息向发送端确认并根据发送端策略处理消息
订阅端:业务在事务里实现消息处理,通过重试解决处理失败的消息问题,一直失败人工解决。
RocketMQ 的消息存储是由 consume queue 和 commit log 配合完成的。
consume queue 是消息的逻辑队列,相当于字典的目录,用来指定消息在物理文件 commit log 上的位置。
根据 topic 和 queueId 来组织文件,图中TopicA有两个队列0,1,那么TopicA和QueueId=0组成一个ConsumeQueue,TopicA和QueueId=1组成另一个ConsumeQueue。
ConsumeQueue 存储:CommitLog Offset是指这条消息在 Commit Log 文件中的实际偏移量,Size 存储中消息的大小。
Message Tag HashCode 存储消息的 Tag 的哈希值:主要用于订阅时消息过滤(订阅时如果指定了 Tag,会根据 HashCode 来快速查找到订阅的消息)。
按照消费端的 GroupName 来分组重试队列,如果消费端消费失败,消息将被发往重试队列中。
按照消费端的 GroupName 来分组死信队列,如果消费端消费失败,并重试指定次数后,仍然失败,则发往死信队列。
Commit Log:消息存放的物理文件,每台 broker 上的 commit log 被本机所有的 queue 共享,不做任何区分。
MQ 的设计和源码还是很值得我们去深入学习的。包括它的一些索引结构,多 Master,集群部署,负载均衡,消息过滤等都应该是我们学习的重点,这对我们每个人的成长都会有所帮助!
最后,欢迎关注我的个人微信公众号:业余草(yyucao)!可加作者微信号:xttblog2。备注:“1”,添加博主微信拉你进微信群。备注错误不会同意好友申请。再次感谢您的关注!后续有精彩内容会第一时间发给您!原创文章投稿请发送至532009913@qq.com邮箱。商务合作也可添加作者微信进行联系!
本文原文出处:业余草: » 一文看懂RocketMQ的顺序消息、重复消息、事务消息和消息存储