消息消费幂等表清理与大促当晚存储扩容

使用RocketMQ 的业务系统怎么处理消息的积压? 消息积压是分布式消息系统中常见的问题,尤其是在高并发场景下,如果消费者的处理速度跟不上生产者的发送速度,就会导致消息积压。如果消费者数量已经达到 MessageQueue 的数量,可以考虑增加 MessageQueue 的数量。通过以上方法,业务系统可以有效应对 RocketMQ 的消息积压问题,确保系统的稳定性和可靠性。确保消费者的数量不超过 MessageQueue 的数量,否则多余的消费者会处于空闲状态。:增加 Topic 的 MessageQueue 数量,提高消息的并行处理能力。 阅读详情

消息消费幂等表清理与大促当晚存储扩容

封面信息图

在 Apache Kafka 支撑的大促异步交易、资金结算与仓储履约架构中,消息消费端为了防范由于网络超时、Broker 重试或 Rebalance 重平衡引发的消息重复投递,必须严格践行**“消费端幂等防重设计(Idempotent Consumer Pattern)”**。

在生产实践中,最主流且最可靠的实现方案是在数据库或分布式缓存中维护一张**“消费幂等流水记录表(trade_idempotent_consume_log)”**,利用唯一索引约束(Unique Key Constraint)实现硬核的防重防资损。

然而,在面对大促开门红每秒数十万 TPS 核心消息狂暴写入的极端高压场景下,“未经大促专项清理与扩容的历史幂等表”,正在悄无声息地演变成压垮消费端吞吐的头号性能瓶颈:

  • 历史数据沉重包袱(B+ 树层高膨胀与页分裂):幂等表中累积了过去一年里高达 1.2 亿行历史消费记录,物理磁盘文件体积超过 80GB!
    大表的唯一主键索引 B+ 树层高从 3 层激增至 4 层,InnoDB Buffer Pool 内存缓冲池被海量冷数据严重污染;
  • 单次插入延迟恶化 100 倍:在大促高并发消息涌入时,每一次简单的幂等插入(INSERT INTO idempotent_log)由于频繁触发磁盘随机 I/O 与索引页分裂,单次插入耗时从原本轻快的 0.3ms 恶化至 35ms 以上!
  • 致命的消费积压雪崩:下游微服务的 200 个消费线程全部被挂死在数据库插入等待上,消费速率从 50,000 TPS 暴跌至 800 TPS,Kafka Lag 积压在 10 分钟内突破千万条!

在大促封网周(9/25),发起**“消费幂等表历史死数据平滑归档清理与大促当晚专用存储扩容大行动”,并升级为“Redis 极速布隆/位图 + MySQL 分库分表双层立体幂等体系”**,是守卫消息消费总线极速吞吐的核心战役。

历史臃肿幂等表拖垮消费速率的微观时序拆解

[Kafka Broker 涌入 80,000 TPS 核心交易消费事件]
                         |
                         v
+-------------------------------------------------------------------------------+
| 消费微服务 (Trade Consumer Workers)                                            |
| - 尝试向单机历史幂等表执行防重写入: INSERT INTO idempotent_log (event_id)      |
+-------------------------------------------------------------------------------+
                         |
                         v (遭遇 1.2 亿行历史大表性能衰减)
+-------------------------------------------------------------------------------+
| 历史沉重幂等表 (包含 80GB 历史冷数据, B+ 树层高达 4 层)                       |
| 1. Buffer Pool 发生剧烈命中率衰减,频繁触发物理磁盘随机读取冷页!              |
| 2. 单次 INSERT 唯一索引写入耗时从 0.3ms 暴增至 35ms!                          |
| 3. 消费工作线程池在 1 秒内被全部打满耗尽!                                      |
+-------------------------------------------------------------------------------+
                         |
                         v
[Kafka 消息总线 Lag 积压直线上升突破 1,000 万条! 全网异步业务发生严重断崖式滞后!]

消费幂等表历史死数据平滑清理实战 SOP

在大促封网前夕,坚决禁止使用 DELETE FROM idempotent_log WHERE create_time < ... 进行全表大事务删除(会导致锁表与主从延迟爆炸!),必须严格执行基于主键游标的平滑微批次清理(Chunked Delete Script):

# 生产级基于主键游标分批平滑清理历史幂等大表脚本 (clean_idempotent_table.py)
import pymysql
import time

def clean_idempotent_log_safely():
    conn = pymysql.connect(host="10.20.1.50", user="dba_admin", password="***", database="trade_db")
    cursor = conn.cursor()

    # 1. 仅保留最近 7 天内的幂等记录 (大促前彻底清除 7 天前 1 亿行历史垃圾数据!)
    cutoff_time = "2026-09-18 00:00:00"
    batch_size = 5000

    print("Starting chunked idempotent log table cleanup...")
    total_deleted = 0

    while True:
        # 基于主键索引执行局部微批次删除,耗时 < 10ms,主库零阻塞!
        sql = f"DELETE FROM trade_idempotent_consume_log WHERE create_time < '{cutoff_time}' LIMIT {batch_size}"
        affected_rows = cursor.execute(sql)
        conn.commit()

        total_deleted += affected_rows
        print(f"Deleted {affected_rows} rows, Cumulative: {total_deleted}")

        if affected_rows < batch_size:
            break

        # 核心休眠:每批次间隔 50ms,给主从复制留出追赶时间,主从延迟严格 < 0.1s!
        time.sleep(0.05)

    print(f"Cleanup completed successfully! Total purged: {total_deleted} rows.")
    # 清理完毕后执行 OPTIMIZE TABLE 回收物理碎片空间
    cursor.execute("OPTIMIZE TABLE trade_idempotent_consume_log")
    conn.close()

现代双层立体高并发幂等架构升级(Redis + DB)

为了彻底摆脱单点数据库的 I/O 物理上限,我们将幂等架构升级为**“Redis 纯内存前置极速去重 + 数据库异步分表最终防重”的双层立体防御**:

[Kafka 消息到达消费端]
          |
          v (第 1 层: 纯内存前置去重 - 耗时 0.05ms!)
+-------------------------------------------------------------------------------+
| ⚡ Layer 1: Redis SETNX 分布式原子锁前置拦截                                   |
| - Key: `idempotent:event:{eventId}`, TTL: 86400 秒 (24 小时)                  |
| - 若 SETNX 返回 0: 代表消息已处理过,【0 毫秒直接 ACK 提交并忽略,零 DB 压力!】|
| - 若 SETNX 返回 1: 获得消费权,进入第 2 层业务处理!                            |
+-------------------------------------------------------------------------------+
          |
          v (第 2 层: 本地单机事务最终兜底 - 耗时 0.2ms)
+-------------------------------------------------------------------------------+
| 🗄️ Layer 2: 业务数据库幂等分表插入 (Sharded DB Idempotent Log)                 |
| - 按订单 ID 取模分散存储在 32 个分库分表中,B+ 树层高仅为 2 层,写入极速!     |
| - 业务执行与幂等标记在同一个本地单机事务中提交,确保绝对数据一致性!           |
+-------------------------------------------------------------------------------+
// 生产级双层高并发防重消费模板
@Component
public class RobustIdempotentConsumerTemplate {
    @Autowired
    private StringRedisTemplate redisTemplate;
    @Autowired
    private IdempotentLogMapper idempotentLogMapper;

    public void processMessageWithIdempotency(String eventId, Long orderId, Runnable businessLogic) {
        String redisKey = "idempotent:event:" + eventId;

        // 1. 第一层:Redis 内存 0.05ms 极速前置拦截
        Boolean isFirstReceived = redisTemplate.opsForValue().setIfAbsent(redisKey, "1", Duration.ofHours(24));
        if (Boolean.FALSE.equals(isFirstReceived)) {
            log.info("DUPLICATE MESSAGE: Event [{}] already processed, skipping smoothly.", eventId);
            return; // 0 毫秒直接跳过,零数据库交互!
        }

        try {
            // 2. 第二层:进入轻量化分库幂等表与业务本地事务
            executeTransactionalBusinessWithDbIdempotency(eventId, orderId, businessLogic);
        } catch (DuplicateKeyException ex) {
            log.warn("DB DUPLICATE: Duplicate key caught in DB for event [{}], harmless.", eventId);
        } catch (Exception ex) {
            // 业务执行异常,必须释放 Redis 锁允许重试
            redisTemplate.delete(redisKey);
            throw ex;
        }
    }
}

封网前幂等表体检与压测最终验收战报

================================================================================
【大促封网期消费幂等表清理与扩容验收战报】
================================================================================
1. 历史数据清理与碎片回收成效:
   * 平滑清理 7 天前历史已失效幂等数据: 【整整 115,000,000 行历史记录!】
   * 释放物理磁盘空间: 【72.5 GB 物理存储,InnoDB Buffer Pool 命中率恢复至 99.4%!】
   * 清理全程主从复制延迟: 【严格控制在 0.15 秒以内,零业务受扰!】

2. 150% 极限 80,000 TPS 消息并发消费压测实测:
   * 双层幂等架构下 Redis 拦截重复消息耗时: 【0.04ms】
   * 数据库幂等单条写入耗时: 【从 35ms 暴降至 0.28ms (提速 125 倍!)】
   * 核心交易消费吞吐能力: 【稳定承接 85,000 TPS,Kafka Lag 严格为 0 条!】
================================================================================
签署人:张迪(总架构师) / 消息架构与存储专家组

总结

防重是分布式事务的生命底线,但高效的防重依赖于干净纯粹的存储底座。

在大促决战前夕平滑清除上亿条历史沉重包袱,升级双层立体极速幂等防线,Kafka 消费总线才能在数十万 TPS 消息洪流冲击下做到既零重复、零资损,又风驰电掣、畅通无阻。

Redis 5.0 Stream消息队列实战:手把手教你处理消费失败、死信和内存清理 本文详细介绍了Redis 5.0 Stream消息队列在生产环境中的实战应用,包括消费失败处理、死信队列设计和内存优化策略。通过Spring Boot和Java技术栈,提供了一套完整的解决方案,帮助开发者高效处理Pending消息、实现死信转移,并优化内存使用,提升系统稳定性和性能。 阅读详情

相关推荐

RocketMQ消息防重实战:用MySQL唯一索引和Redisson锁搞定重复消费(附完整代码)

本文深入探讨了RocketMQ消息重复消费问题的解决方案,重点分析了MySQL唯一索引和Redisson分布式锁两种防重机制。通过实战代码示例和性能对比,帮助开发者根据业务场景选择最优方案,有效解决电商、支付等系统中的消息幂等问题,避免重复扣款等业务风险。

weixin_33671935的博客 775

发了一次不等于只到一次:消息顺序、积压与重复消费的分区排序、幂等落账与扩容恢复工程

消息乱序、积压与重复消费常被当作三类独立故障,本文给出统一视角:消息系统以分区并行换吞吐、以至少一次投递换不丢,顺序、时效与次数三个同步调用里免费成立的属性随之失效,三大难题正是同一组设计决策的三张账单。文章先区分全局、键内与因果三种顺序,给出分区键设计、幂等生产者与按键串行通道的保序链路;再论证恰好一次生效才是工程目标,展开唯一约束、状态机、条件更新与前置挡板四式幂等及发件箱到收件箱方案;最后给出积压三个读数、六类根因、四档处置与扩容再均衡细节,以十二条清单、三层观测面与三种演练收口防线。

曾经“等你生日那天”都遥远得像未来,如今却可欢愉的挥手说“下个十年见” 8270

消息中间件核心考点全解析:可靠性、顺序性、幂等与高可用

消息中间件是分布式系统解耦、削峰、异步通信的基础设施,核心价值在于将同步调用转化为异步事件流。理解其工作原理,需要掌握生产者、Broker、消费者之间的数据流转,以及消息可靠投递、重复消费幂等、顺序保证、堆积排查等关键机制。在工程实践中,RocketMQ、Kafka、RabbitMQ各有适用场景,选型需结合业务模型。本文围绕消息中间件的高频面试问题,系统梳理从可靠性保障、幂等设计、顺序消息到事务消息、高可用及死信队列的完整知识链,帮助开发者构建清晰的技术认知,并落实到项目实战。

weixin_42128315的博客 219

RocketMQ如何保证消息不丢失+消息重复消费问题

这个问题要从Producer,Consumer和Broker三个方面来回答。1、可以,即发送一条数据等到接受者返回响应之后再发送下一个数据包。如果返回响应OK,表示消息成功发送到了broker,状态超时或者失败都会触发二次重试。2、可以采用。3、如果一条消息发送之后超时,也可以通过查询日志的API,来检查是否在Broker存储成功。总的来说,Producer还是采用同步发送来保证的。1、消息只要持久化到CommitLog(日志文件)中,即使Broker宕机,未消费的消息也能重新恢复再消费。和。

weixin_44146398的博客 1598

Kafka消息堆积为何不能盲目加消费者?原理剖析与高效排查方案

在分布式消息队列的日常运维中,消息堆积是最常见的性能痛点之一。Kafka作为高吞吐的发布订阅系统,其消费能力并非简单取决于消费者数量,而是受限于分区(Partition)的并行度模型。当业务流量激增或下游处理缓慢时,消费者Lag会持续攀升,此时若盲目扩容消费者实例,很可能因分区数不足导致新增消费者空转,问题依旧。理解消费组与分区的绑定关系、Offset提交机制以及Rebalance触发条件,是定位堆积根因的基础。本文从消费模型的概念出发,梳理了消息堆积的六大典型根因,并结合命令行工具、JVM监控等手段给出完

weixin_33525298的博客 312

直流有刷电机控制 - 驱动电路(二)

1.如图所示为最常见的推挽驱动电路,我附加了具有正反转功能的电机驱动控制,正反转是由两个继电器组成。使用推挽电路来驱动NMOS管时充电电流和放电电流都很大,因此NMOS管导通快,关断也快,而且NMOS温度不会很高。下面来介绍一下该电路的原理。(1)PWM_MCU是由单片机给出的PWM波信号,该信号是由一些列高低电平的方波构成。当信号为高电平的时候Q3导通,经过R47再到Q5的g极,此时mos导通,如果是K1闭合是正转那么K2闭合就是反转。(2)当PWM低电平时使得Q3关断,Q6导通。

u011030644的博客 4728

消息积压处理

电商大促场景下的消息积压处理方案 消息积压指生产者发送速率持续高于消费者处理能力,导致队列消息堆积。电商场景下,积压会导致订单超时、支付延迟等严重后果。根本原因包括生产者突发流量、队列配置不足和消费者处理慢等。 紧急处理方案: 快速扩容消费者实例和队列分区 优化消费逻辑(批量处理、异步化) 调整队列配置(存储扩容、刷盘策略) 长期优化: 生产者限流和流量削峰 消费者微服务拆分和资源监控 队列合理分区和分层存储 通过分钟级应急响应和小时级架构优化,可有效应对大促期间的突发流量,保障业务稳定性。

weixin_43076660的博客 1286

多边形裁剪算法

多边形裁剪算法 刚参加工作就跟多边形刚上了,对于多边形的裁剪做一些简单的总结。 多边形裁剪主要有四种算法 Greiner-Hormann裁剪算法 Sutherland-Hodgman算法 Vatti裁剪算法 Weiler-Atherton裁剪算法 作为一名想要成为优秀算法工程师的程序员,我们不能只会使用,而不知道其原理,倘若如此,我们无法做到应用于本身业务上的定制化的修改。 Greiner–H...

papalqi 6730

遇到了消息堆积,但是问题不大

大家好,我是左耳君,如果觉得下面的文章对你有所帮助,欢迎大家关注 上一篇说过了如何保证消息不丢失,分别从producer、broker和consumer三个角色来保证消息的不丢失,其实说到底也不可能百分百保证消息不丢失,这种当然是极端的情况下 这一篇我们要说的话题是消息的堆积处理,其实这个话题还是挺大的,因为消息堆积还是真的很令人头疼的,当堆积的量很大的时候,这真的是个很暴躁的问题,不过这时候真考验大家冷静的处理问题的能力了 我们一起来分析分析有关问题吧 大量的消息堆积在MQ中几个小时还没解决怎么办呢 .

1307

别再死记硬背MAML原理了!用PyTorch手撸一个Omniglot小样本分类器(附完整代码)

本文详细介绍了如何使用PyTorch实现MAML(模型无关的元学习)算法,构建一个Omniglot小样本分类器。通过实战代码演示,帮助读者理解MAML的双层优化原理,并提供了完整的训练循环、网络架构设计及调试技巧,适合想要掌握元学习技术的开发者。

weixin_29191669的博客 134

UVM自学笔记3——项目之三——从零开始搭建ahb_sramc验证平台

创建如下所示的目录结构: 2.在tb的文件下:顶层的testbench如下:在tb中,第24行的代码将uvm宏相关的内容include进来,第26行的代码把uvm_pkg包导入进来,然后将agent相关的包(ahb_pkg/sram_pkg),testcase相关的包(uvm_ahb_sram_test_pkg)以及env相关的包(uvm_ahb_sram_env_pkg)都导入进来,在第38行和39行将接口以virtual interface的形式配置给ahb_agent和sramc_agent下

ZhangShuHuai11的博客 9489

RabbitMQ、kafaka、rocketmq等消息队列MQ消息堆积如何解决

1.产生背景: 生产者投递消息的速率与我们消费者消费的速率完全不匹配。2.生产者投递消息的速率>消费者消费的速率导致我们消息会堆积在我们 mq 服务器端中,没有及时的被消费者消费 所以就会产生消息堆积的问题3.注意的是:rabbitmq 消费者我们的消息消费如果成功的话 消息会被立即删除(自动ack)kafka 或者 rocketmq 消息消费如果成功的话,消息是不会立即被删除。4.解决办法:A.提高消费者消费的速率;(对我们的消费者实现集群)

刘皇叔说Java的博客 2927

1991-2020年气候背景数据集

2011 年,国家气象信息中心对 1951-2010 年 2400 余个地面站气温、气压、降水、湿度、日照等 19 大要素项的定时观测资料和日极值资料中由数字化过程中引起的系统性问题(例如数字化遗漏、整段拷贝等问题)进行质量检测、质量控制和错误数据的更正,形成较高质量的地面基础资料集。1991-2020年中国地面气候值数据集提供了中国2438个站点的气温、降水、气压、风向风速、相对湿度、水汽压、云、天气现象、能见度、蒸发、积雪、地温、冻土、日照共14个要素的气候背景信息。数据时间:30年平均。

地球资源数据云的官方博客 1605

RabbitMQ分布式事务实战:消息确认、幂等与补偿机制

在微服务架构中,分布式事务是常见挑战,消息中间件通过最终一致性方案提供了解法。RabbitMQ凭借生产者确认和消费者手动ACK机制,成为实现可靠消息投递的核心工具。其原理是将跨服务事务拆解为本地事务与消息投递的组合,借助消息持久化、死信队列和幂等设计,确保数据最终一致。技术价值在于平衡性能与一致性,适用于订单履约、库存扣减等异步链路场景。本文深入探讨RabbitMQ在分布式事务中的实操配置、常见问题与调优策略,帮助开发者规避陷阱,提升系统可靠性。

weixin_33912638的博客 394

一文读懂 AI 模型训练流程

AI模型训练流程可分为五个关键步骤:首先进行数据准备,包括收集、清洗、标注和增强数据;其次选择合适的模型架构并搭建神经网络;然后通过前向传播、损失计算和反向传播进行模型训练;接着用验证集评估模型性能,并调整超参数;最后在测试集上检验模型泛化能力。整个过程需要精心设计每个环节,才能获得性能优异的AI模型。

牧晨加油站 1492

告别抖动与滞后:深入博能传动伺服DSC功能,用105报文提升多轴同步性能

本文深入解析博能传动伺服DSC功能如何通过105报文实现多轴同步性能提升,有效解决工业自动化中的抖动与滞后问题。详细介绍了DSC技术原理、105报文实现机制及多轴同步工程实践,帮助工程师优化伺服系统性能,实现绝对齿轮同步。

weixin_30394981的博客 189

Kafka重复消费深度解析:从offset原理到幂等方案落地

消息队列是分布式系统中实现异步解耦和流量削峰的核心组件,但在“至少一次”投递语义下,消息重复成为常态。Kafka作为主流消息中间件,其重复消费问题源于offset提交机制:消费者拉取并处理消息后,若在提交offset前崩溃或触发Rebalance,未提交的消息会被重新消费。理解这一原理,是构建可靠消费端的基础。在工程实践中,解决重复消费的关键在于消费端幂等设计,包括手动提交offset以缩小重复窗口,利用数据库唯一键或幂等表保证记录唯一,借助Redis SETNX实现轻量去重,以及通过业务状态机条件更新避免

weixin_33895475的博客 343

详解【计算机类&面试真题】军队文职考试——第7期:C盘格式化需要注意什么?| 两台笔记本连起来后ping不同,可能存在哪些问题?| 模拟信号到数字信号是如何转化的?| 计算机由哪些部件组成?

这是我分享的系列面试知识——军队文职(计算机类)面试真题详解(第7期)。本期分享:两台笔记本连起来后ping不同,你觉得可能存在哪些问题?模拟信号到数字信号是如何转化的?谈一谈计算机由哪些部件组成?如何加强计算机网络安全管理?若通过域名无法访问,而通过IP地址能访问。这是怎么回事?你将如何解决?谈一谈C盘格式化需要注意什么?开放类题目:如果应聘的岗位和你想的差距很远,你怎么办?

追光者♂:记录、分享、总结、提升,现象级专栏《Python从入门到人工智能》作者,无惧黑暗,坚信曙光 1927

消息队列实战避坑指南:从可靠投递到幂等消费的工程实践

消息队列作为分布式系统解耦与异步通信的核心组件,其核心价值在于实现系统间的松耦合与流量削峰。理解其工作原理,关键在于把握消息传递的语义模型,如‘至少一次’、‘至多一次’与‘恰好一次’的可靠性权衡。这些基础概念直接决定了系统的数据一致性边界。在工程实践中,消息队列的技术价值在于构建高可用、可扩展的异步架构,广泛应用于订单处理、日志收集、事件驱动等场景。然而,追求高性能的同时,必须警惕‘发送即成功’的认知误区,这常导致消息丢失或重复消费等数据不一致问题。本文聚焦于消息可靠投递与消费幂等性两大核心挑战,结合生产者

weixin_34074740的博客 378

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

vb 6.0并口开发操作实例

vb6并口开发,简体中文,试例内有inpout32.dll动态链接库

从三万到三十万:高性能消息队列的存储、消费与调优实战

消息队列是分布式系统实现异步解耦和削峰填谷的核心组件,其性能瓶颈往往不在于网络框架,而集中在磁盘IO、内存拷贝和锁竞争。理解顺序写与批量刷盘的底层原理,是把握消息中间件高性能设计的关键。Kafka 等成熟产品正是通过追加写日志、稀疏索引和零拷贝等技术,在保证高吞吐的同时降低延迟。然而在并发和故障场景下,重复消费难以完全避免,必须结合幂等设计进行业务兜底。本文从存储引擎、消费模型到参数调优,系统拆解将吞吐量从每秒三万条提升至三十万条的完整路径,为中间件选型与自研队列提供可落地的工程实践参考。

weixin_34245749的博客 141

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

MQ消息积压问题排查:消费卡顿、堆积、消费速度优化

消息积压(Message Backlog),简单说就是生产速度大于消费速度,消息在 Broker 的磁盘上越堆越多,像水管一头猛灌水、另一头却拧小了阀门一样。RocketMQ Dashboard 上有一个关键指标叫Diff Total,它表示"已生产但未被消费的消息数量"。正常情况下 Diff 应该在几百甚至几十以内,但如果数字开始飙升——1000、5000、10000——你的系统正在发出 SOS 信号。说个真实场景:某天凌晨我们对 500 台售货柜批量下发固件升级指令,每条指令都通过 MQ 投递。

爱片闲串,爱钓鱼,爱中医,爱分享 93

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

面试真题:消费者积压问题的答案

消费者处理速度跟不上生产者发送速度消息队列长度不断增长,系统性能下降。

专注Java(全栈)应用开发,求知若渴,虚心若愚,talk is cheap, show me the code. 1139

RocketMQ与kafka如何解决消息积压问题?

消息积压问题简单来说,就是MQ存在了大量没法快速消费完的数据,造成消息积压的原因主要在于“进入的多,消费的少”,或者生产的速度过快,而消费速度赶不上,基于这一问题,我们主要介绍如何通过前期的开发设置去避免出现消息积压的问题。主要介绍两款产品RocketMQ和Kafka的解决方式,以及其差异,本质上的差异就是RocketMQ与Kafka之间的存储结构差异带来的,基本的处理思路还是怎么控制生产流量,并增加消费者的消费速度,以及Broker的扩容。

qq_39126115的博客 1393

消息队列神器:打造高效、可靠的分布式系统

消息队列(Message Queueing)是现代应用架构中不可或缺的组件,它在处理大规模数据流、服务解耦、系统伸缩性和异步通信等方面发挥着关键作用。

果酱 の 博客 1032

二、RocketMQ工作原理

Rebalance即再均衡,指的是,将一个Topic下的多个Queue在同一个Consumer Group中的多个Consumer间进行重新分配的过程。Rebalance机制的本意是为了提升消息的并行消费能力。例如,一个Topic下5个队列,在只有1个消费者的情况下,这个消费者将负责消费这5个队列的消息。如果此时我们增加一个消费者,那么就可以给其中一个消费者分配2个队列,给另一个分配3个队列,从而提升消息的并行消费能力。

青啊青斯博客 1451
上一篇: 搭建私人在线工具箱:从部署到远程使用
下一篇: Redis 哨兵节点高可用健康检查与脑裂防范
Dicky张
博客等级 码龄7年 1万+粉丝 1512原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址