MMKV的‘黑魔法’:拆解微信团队如何用mmap和Protobuf打造高性能KV存储

chrome-win64-159.0.8145.0(Canary).zip 内容概要:Chrome for Testing 官方 chrome 159.0.8145.0 win64 平台(金丝雀版通道),原版未修改,附来源说明。 适合人群:Windows 64 位 上的自动化测试工程师、爬虫开发者、CI 环境搭建者。 使用场景及目标:①Chrome for Testing 官方浏览器本体,供自动化测试使用;②与同版本 chromedriver 配套;③CI/容器环境的浏览器运行时。 其他说明:Chrome for Testing 为 Google 官方发布、允许自由分发的文件;本资源为第三方整理的下载便利服务。 立即下载

MMKV架构解密:微信团队如何用mmap与Protobuf重构移动端存储范式

在移动应用开发领域,数据持久化存储的性能瓶颈一直是开发者面临的棘手问题。传统方案如SharedPreferences在多线程写入、跨进程同步等场景下表现捉襟见肘,而微信团队开源的MMKV通过两项核心技术——mmap内存映射与Protobuf序列化协议,实现了数量级的性能突破。本文将深入解析这套技术组合的设计哲学与实现细节。

1. 传统方案的性能困局

Android平台长期依赖的SharedPreferences存在三个结构性缺陷:

  1. 线程阻塞风险:初始化时的同步文件读取可能阻塞UI线程
  2. 跨进程同步失效:MODE_MULTI_PROCESS标志位实际效果不可靠
  3. 写入放大效应:数据需要经过两次拷贝才能落盘
# 传统SP写入流程示例
1. 用户空间 -> 内核缓冲区(第一次拷贝)
2. 内核缓冲区 -> 磁盘(第二次拷贝)

这种设计在频繁写入场景会产生显著性能损耗。实测数据显示,Pixel 2 XL设备上执行1k次写入操作时,SP耗时达到MMKV的15倍以上。

2. mmap的内存魔法

mmap(memory mapping)通过建立虚拟地址与磁盘文件的直接映射,实现了零拷贝的数据读写:

// mmap系统调用原型
void *mmap(void *addr, size_t length, int prot, int flags, int fd, off_t offset);

关键优势体现在三个维度:

特性传统IOmmap
拷贝次数2次0次
系统调用频率每次读写都需要仅初始映射时需要
内存利用率双缓存单缓存

微信团队特别优化了mmap的扩容策略——采用指数级增长(每次扩容为原大小2倍),在空间占用与性能间取得平衡。当存储空间不足时:

def ensure_space(new_size):
    while current_size < new_size + future_usage:
        current_size *= 2  # 动态扩容机制

3. Protobuf的紧凑编码

MMKV选用Protobuf而非JSON/XML进行序列化,主要考量其两大特性:

空间效率:

  • 变长整型编码:小数值仅需1字节
  • 字段标签替代字段名:节省键名存储空间
message KVItem {
  optional string key = 1;  // 字段标签占1字节
  optional bytes value = 2;
}

增量更新能力:

  • 新键值直接append到文件末尾
  • 旧键值通过标记位逻辑删除
  • 定期执行碎片整理(fullWriteback)

这种设计使得随机写入变为顺序写入,大幅提升IO吞吐量。实测显示Protobuf的序列化速度是JSON的3-5倍。

4. 多进程同步方案

MMKV通过三层锁机制确保多进程安全:

  1. 文件锁(flock):协调跨进程访问
  2. 共享锁/排他锁:读写分离控制
  3. CRC校验:防止异常崩溃导致数据损坏
class InterProcessLock {
public:
    void lock(FileLock* fileLock, LockType type) {
        if(m_enable) {
            // 通过fcntl实现文件锁
            ::flock(fileLock->getFd(), type);  
        }
    }
};

这种设计使得MMKV在多进程场景下的性能仍优于SQLite等方案,在微信消息同步等场景表现尤为突出。

5. 工程实践启示

MMKV的架构设计为移动存储提供了新思路:

  1. 性能优先:用空间换时间,内存映射避免拷贝
  2. 渐进式更新:append模式减少磁盘寻址
  3. 防御性设计:CRC校验保障数据完整性

实际集成时需注意:

  • 初始化应在Application中完成
  • 大value建议单独存储
  • 定期调用trim()防止空间浪费
// 最佳实践示例
MMKV.initialize(context);
MMKV kv = MMKV.mmkvWithID("profile");
kv.encode("avatar", byteArray);  // 小数据直接存储

通过将系统层机制(mmap)与应用层协议(Protobuf)创造性结合,MMKV重新定义了移动端KV存储的性能标准。这种架构思维值得在需要高频IO的场景中借鉴。

chrome-headless-shell-win64-157.0.8103.38(Stable).zip Chrome for Testing 官方指定版本的 Chrome 浏览器、ChromeDriver 与 Headless Shell 压缩包,适用于 Selenium、Playwright 等自动化测试环境搭建,覆盖 Windows、macOS、Linux 多平台,解压即可使用,无需额外安装或配置。 立即下载

相关推荐

chrome-win32-159.0.8150.0(Canary).zip

内容概要:Chrome for Testing 官方 chrome 159.0.8150.0 win32 平台(金丝雀版通道),原版未修改,附来源说明。 适合人群:Windows 32 位 上的自动化测试工程师、爬虫开发者、CI 环境搭建者。 使用场景及目标:①Chrome for Testing 官方浏览器本体,供自动化测试使用;②与同版本 chromedriver 配套;③CI/容器环境的浏览器运行时。 其他说明:Chrome for Testing 为 Google 官方发布、允许自由分发的文件;本资源为第三方整理的下载便利服务。

洛谷p3374 树状数组1 - 单点修改 区间求和

树状数组最基本应用吧 //ios::sync_with_stdio(false); #include<bits/stdc++.h> using namespace std; const int MAXN = 500010; int n,m; int C[MAXN]; int lowbit(int x) { return x&-x; } void add(int ...

weixin_30657999的博客 165

chromedriver-win32-160.0.8164.0(Canary).zip

chromedriver-win32-160.0.8164.0(Canary).zip

【线段树】[LUOGU XOR的艺术] 区间异或+区间询问

题目: 题目链接:[LUOGU XOR的艺术] 双倍经验:[USACO08NOV 光开关Light Switching] 三倍经验:[LUOGU [TJOI2009] 开关] 题解: 异或操作,区间和即可。 代码: #include<bits/stdc++.h> using namespace std; inline int read() { int s=0,w=1;char ch=...

BLNG 255

化工MES-石化盈科信息技术有限责任公司.pptx

化工MES-石化盈科信息技术有限责任公司.pptx

健康管理服务运营方案.pptx

健康管理服务运营方案.pptx

动态求连续区间和-线段树-树状数组-模板

给定 n 个数组成的一个数列,规定有两种操作,一是修改某个元素,二是求子数列 [a,b] 的连续和。 输入格式 第一行包含两个整数 n 和 m,分别表示数的个数和操作次数。 第二行包含 n 个整数,表示完整数列。 接下来 m 行,每行包含三个整数 k,a,b (k=0,表示求子数列[a,b]的和;k=1,表示第 a 个数加 b)。 数列从 1 开始计数。 输出格式 输出若干行数字,表示 k=0 时...

qq_41581913的博客 277

TVJ1120资源及合并指令

内容概要:本文提供了TVJ1120.apk拆分文件的下载链接及合并方法,包含两个分卷文件(part1和part2)的CSDN下载地址,并给出在Windows系统下使用copy命令将两个分卷合并为完整APK文件的具体指令。同时提供使用certutil工具对合并后的TVJ1120.apk进行SHA256哈希值校验的命令,以确保文件完整性与安全性。; 适合人群:具备基本计算机操作能力,熟悉命令行工具使用的开发者或技术人员;需要下载并验证安卓应用文件完整性的用户。; 使用场景及目标:①用于从分卷压缩或拆分的APK文件中恢复完整的安装包;②通过哈希校验确保下载的APK文件未被篡改或损坏,保障应用安全性和可用性;③适用于软件分发、移动应用测试、逆向分析等技术场景。; 阅读建议:在操作前确认已下载全部分卷文件,并在相同目录下执行合并命令;建议严格比对生成的SHA256值与官方提供的校验值,防止运行不安全的应用程序。

线段树区间求和

线段树区间求和略解 大致介绍: 线段树区间求和的算法大致由三个部分组成,分别是: Build函数:建立一个二叉树结构,每一个叶子(或根)储存一个区间的和,我的解法是通过递归实现; Add函数(有的博客称为Update函数):实现改变一个点的数值的功能; Query函数:实现查询功能,查询某一段的和为多少。 大致这三个功能可以满足我们大多数情况的需求。 然后,开始分析每一块代码的功能吧!o(*≧...

songziqi98的博客 1400

Geant4学习——入门(基本概念、Geant4工具包的结构、强制类、可选类)

Geant4是由欧洲核子研究组织基于C++面向对象技术开发的蒙特卡罗应用软件包,用于模拟粒子在物质中输运的物理过程。由于具有良好的通用性和扩展能力,Geant4在涉及微观粒子与物质相互作用的诸多领域获得了广泛应用。 第一部分 Geant4的基本概念 HEP中的模拟是“虚拟现实”。仿真既可用于在研发阶段帮助设计探测器,又可用于物理研究中了解探测器的响应。为了创建这样的虚拟现实,我们需要对粒子间的相互作用,几何形状和材料进行建模,以便将基本粒子传播到检测器中。我们还需要描述检测器生成原始数据的灵敏度。 Gea

M_M-铭的博客 2万+

MCU启动流程详解

在MCU启动后,系统从flash主存储区开始执行,先将0x08000000地址存放的堆栈栈顶指针赋给SP寄存器,将0x08000004地址存放的Reset_Handler复位向量地址赋给PC寄存器跳转执行系统复位,期间执行System_Initializes函数配置系统时钟,重定位向量表,执行MDK自带库函数__main将RW、ZI数据段从Flash加载到RAM,并跳转至_rt_entry进行Stack和Heap的初始化,最后跳转到熟悉的main函数。

weixin_50827397的博客 1511

线段树查找最大值以及查找区间和

I Hate It   Time Limit: 9000/3000 MS (Java/Others)    Memory Limit: 32768/32768 K (Java/Others) Total Submission(s): 94892    Accepted Submission(s): 35915     Problem Description 很多学校流行一种比较的习惯。...

Let_life_stop的博客 1505

实战派指南:反激电源EMI滤波器设计,从理论计算到PCB布局避坑

本文详细解析了反激式开关电源EMI滤波器设计的全流程,从理论计算到PCB布局避坑,结合34W PD快充电源案例,系统介绍了共模与差模干扰的识别、关键元件选型、参数计算优化及PCB布局技巧,帮助工程师有效解决传导测试超标等常见问题。

weixin_29230805的博客 374

HDU 4348 主席树+区间修改+区间查询+查询历史区间和

http://acm.hdu.edu.cn/showproblem.php?pid=4348 题意:如题hhh C l r v  :区间 l ~ r 所有数加上v H l r t : 查询时间 t 时  区间 l~r 的区间和 Q l r : 查询当前时间的区间和 B t : 将当前时间置为 t 主席树的板子,码着 #include&lt;iostream&gt; #include...

WayJasy的博客 917

海康读码器上位机开发避坑指南:IDMVS客户端之外,如何用C# SDK搞定扫码、数据比对与实时控制?

本文详细介绍了如何利用海康读码器的C# SDK进行二次开发,实现从基础扫码到复杂工业控制的全流程解决方案。内容涵盖SDK架构解析、多设备管理系统构建、业务逻辑与设备控制实现,以及系统集成与性能优化等关键环节,为工业自动化领域的开发者提供实用指南。

weixin_30642561的博客 553

【图论】系列(一)之图论的构成

图论是研究图的数学分支,本章介绍了图论的基本构成和概念

qq_30066733的博客 754

模板——二维树状数组之求和(区间修改,区间查询)

#include<iostream> using namespace std; typedef long long ll; const int N = 2100; ll n, m; ll t1[N][N], t2[N][N]; ll t4[N][N], t3[N][N]; ll lowbit(ll x) { return x & (-x); } void Update(...

DoIdo 307

置顶必读(1) | 《YOLOv26实战:从入门到深度优化》专栏导读与完整目录导航(持续更新中)

🏆 本文收录于 《YOLOv26实战:从入门到深度优化》 专栏。 本专栏系统梳理并持续复现 YOLOv26 官方特性、核心改进、多任务支持、部署优化与行业落地,内容坚持 持续更新 + 深度拆解 + 工程落地导向,不仅讲“怎么用”,更讲“为什么这样设计、如何真正落地到项目中”。

**My Coding Family** 9万+

线段树+区间xor+区间求和

题目描述: You've got an arraya, consisting ofnintegersa1, a2, ..., an. You are allowed to perform two operations on this array: Calculate the sum of current array elements on the segment[l,

xqacmer 2129

CATIA二次开发——遍历几何图形集下的轴系及控制轴系生成位置

CATIA二次开发——轴系相关问题1.遍历几何图形集下的轴系2.解决轴系生成位置的问题 1.遍历几何图形集下的轴系 近期遇到的问题:遍历轴系的时候发现,AxisSystem属性的轴系只有放在轴系集合下,才能被找到,放在几何图形集或其他位置均不能被找到。本来想遍历几何图形集下的轴系元素,但是发现没有对应的属性,只能查找 几何图形集、几何元素、草图等元素,无法直接遍历轴系。 解决办法:(加入选择集,在选择集中筛选轴系类型) HybridBody axisHB = activePart.HybridBodies

WorkMan的博客 2732

LPDDR6与LPDDR5 ZQ Calibration技术探讨

LPDDR6与LPDDR5 ZQ Calibration技术探讨

zilan23的博客 1109

树状数组进阶篇(区间修改、区间求和)

找到一个通俗易懂的教程,但是有点bug,在这里纠个错,顺便mark一下。 转自:点击链接 从前有个东西叫树状数组,它可以轻易实现一些简单的序列操作,比如单点修改,区间求和;区间修改,单点求值等. 但是我们经常需要更高级的操作,比如区间修改区间查询.这时候树状数组就不起作用了,只能选择写一个老长的线段树交上去结果被卡常-----而对于号称简洁ZKW线段树,区间修改反而更是噩梦一样的存在. ...

⚡ 2377

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

[数据结构] 给定n 个数,进行数组求和

开始着手看java 的数据结构,慢慢去培养自己的思维能力,从简单的开始学吧,这事也不着急,反正急也急不来 今天主要是看了第一章的一些内容,随便看了一下,下面是数组求和问题,感觉自己看了别人的代码写下来之后又自己写了一份,值得记录一下。 1 情景描述–数组求和 考虑如下问题:给定n个整数,计算它们的总和。 算法:Sum ( A[], n) 输入:由n个整数组成的数组A[] 输出:A[ ] 中所有元...

努力变得不菜的菜鸡的博客 1943

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

HUST——1106xor的难题之二(异或树状数组单点修改和区间查询)

1106: xor的难题之二 时间限制:2 Sec内存限制:128 MB 提交:8解决:3 题目描述 上次Alex学长的问题xor难题很简单吧,现在hkhv学长有个问题想问你们。 他现在有n个数,q个操作。操作分两种,操作一是查询下标L到下标R之间的xor值是多少,操作二是将第i个数变为x。 输入 输入T(...

weixin_30505751的博客 181

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

线段树区间修改与查询(求和)

P3372#include<iostream> #include<cstdio> #include<algorithm> #include<cstring> #include<string> #define MAXN 200000 #define LL long long using namespace std; struct H{ LL addi,sum,l,r,len; }st[MAX

hjx 503
上一篇: 告别MATLAB!用Python+PYPOWER搞定电力系统潮流计算(附Case30完整代码)
下一篇: AI算命师对决:Kimi速成与ChatGPT精算,谁更接近“泄露天机”?
weixin_33704234
博客等级 码龄11年 5624粉丝 2195原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址