大模型时代必备技能:3种向量量化技术对比(PQ/AQ/RVQ)与选型指南

ADC方法(asymmetric distance computation) 《Aggregating local descriptors into a compact image representation》论文笔记提取到VLAD特征后,要先用PCA降维,然后再用ADC方法对每一幅图像建立索引,这里先介绍ADC方法。ADC方法是对图片库中,除query vector x之外的所有图的vector Y=y1,y2...ynY={y_1,y_2...y_n},做kmeans产 阅读详情

大模型时代向量量化技术深度解析:从PQ、AQ到RVQ的实战选型

最近和几位负责大模型RAG系统落地的工程师聊天,大家不约而同地提到了同一个痛点:Embedding向量实在太占地方了。当我们把百万甚至千万级的文档切片转换成768维或1536维的向量后,存储成本直线上升,检索速度也开始变得捉襟见肘。这让我想起了几年前处理图像检索时遇到的类似困境,而当时破局的关键技术之一,正是向量量化。

向量量化本质上是一种有损压缩技术,但它聪明的地方在于,压缩的同时最大程度保留了向量间的相对距离关系——这对相似性搜索来说至关重要。想象一下,你不需要记住一幅画上每个像素的精确颜色,只需要记住它属于"莫奈风格"还是"梵高风格",就能在画廊里快速找到相似的作品。向量量化做的就是这个工作,只不过它处理的是高维数学空间中的"风格"。

在大模型应用井喷的今天,高效的向量检索已经成为AI系统的核心基础设施。无论是构建企业知识库、实现个性化推荐,还是开发智能对话助手,背后都离不开对海量向量数据的快速处理。今天我们就深入探讨三种主流的向量量化技术:Product Quantization(乘积量化)、Additive Quantization(加法量化)和Residual Vector Quantization(残差向量量化)。我不会只给你理论公式,而是结合实际的代码片段、性能测试数据和真实场景中的取舍经验,帮你建立清晰的选型框架。

1. 向量量化的核心逻辑:为什么我们需要压缩向量?

在深入具体算法之前,有必要先厘清一个基本问题:为什么非要对向量进行量化?直接存储原始浮点数向量不行吗?

让我们看一组真实的数据。假设你正在构建一个基于GPT-4的智能客服系统,需要检索企业内部的十万份技术文档。使用text-embedding-ada-002模型,每个文档切片会生成一个1536维的浮点数向量。如果使用标准的32位浮点数(float32)存储:

# 计算存储需求
num_vectors = 100_000  # 10万个向量
dimensions = 1536      # 每个向量的维度
bytes_per_float = 4    # float32占4字节

raw_storage = num_vectors * dimensions * bytes_per_float
print(f"原始向量存储需求: {raw_storage / (1024**3):.2f} GB")

运行这段代码,你会得到约5.86GB的存储需求。这还只是十万个文档——如果是百万级文档,存储需求将接近60GB。更关键的是,在进行相似性搜索时,系统需要计算查询向量与数据库中每个向量的距离(通常是余弦相似度或欧氏距离),计算复杂度为O(N×d),其中N是向量数量,d是维度。

注意:这里还没有考虑内存开销。在实际的向量数据库中,为了加速检索,通常需要将索引加载到内存中。60GB的数据意味着你需要一台配置极高的服务器,成本相当可观。

向量量化通过两个核心机制解决这个问题:

  1. 降低存储开销:将高精度浮点数向量转换为低比特表示(如8位整数),甚至用代码索引代替向量本身
  2. 加速距离计算:通过预计算的距离表或量化编码的快速运算,减少实时计算量

但量化不是免费的午餐。它引入了一个关键权衡:精度损失。量化后的向量是原始向量的近似表示,这意味着检索结果可能不是绝对精确的最近邻,而是近似最近邻(Approximate Nearest Neighbor, ANN)。在实际应用中,只要这种近似在可接受范围内,用少量精度换取巨大的性能和成本提升是完全值得的。

1.1 量化技术的演进脉络

为了更好地理解PQ、AQ、RVQ这三种技术的设计哲学,我们可以先看看它们的历史脉络:

技术 提出时间 核心创新 适用场景
传统K-means量化 1980年代 用聚类中心代表整个数据集 低维数据、码本较小
Product Quantization (PQ) 2010年 将高维空间分解为子空间的笛卡尔积 高维向量、内存受限
Additive Quantization (AQ) 2014年 用多个码本向量的和近似原始向量 需要高精度的检索任务
Residual Vector Quantization (RVQ) 2021年(现代形式) 多阶段残差逼近,逐步细化 音频/视频编码、多粒度检索

这个演进过程反映了研究者们在不同约束条件下的思考:从"如何简单压缩"到"如何在压缩的同时保持精度",再到"如何实现多粒度的精度控制"。

2. Product Quantization:高维向量压缩的经典解法

我第一次在生产环境中使用PQ是在2018年,当时我们需要为一个电商平台的图像搜索系统构建索引。数据库里有超过500万张商品图片,每张图片通过ResNet提取出2048维的特征向量。原始存储需要近40TB空间,而我们的预算只允许使用10TB的SSD阵列。PQ成了我们的救命稻草。

2.1 PQ的工作原理:分而治之的艺术

PQ的核心思想非常直观:将高维向量拆分成多个低维子向量,分别对每个子空间进行量化。这就像是你不需要记住一整本字典,只需要记住每个字母开头的单词列表,需要时再组合起来。

让我们通过一个具体的例子来理解这个过程。假设我们有一个128维的向量,计划使用m=8个子向量,每个子向量16维:

import numpy as np
from sklearn.cluster import KMeans

def product_quantization_train(vectors, m=8, k=256):
    """
    训练PQ量化器
    
    参数:
        vectors: 训练向量集, shape=(n_samples, d)
        m: 子向量数量
        k: 每个子空间的聚类中心数(必须是2的幂,便于编码)
    
    返回:
        codebooks: 码本列表,每个元素是一个聚类中心数组
        sub_dim: 每个子向量的维度
    """
    n_samples, d = vectors.shape
    sub_dim = d // m
    
    # 确保维度能被m整除
    assert d % m == 0, f"维度{d}不能被{m}整除"
    
    codebooks = []
    
    # 对每个子空间独立训练量化器
    for i in range(m):
        # 提取第i个子空间的所有向量
        sub_vectors = vectors[:, i*sub_dim:(i+1)*sub_dim]
        
        # 使用K-means聚类
        kmeans = KMeans(n_clusters=k, random_state=42, n_init=10)
        kmeans.fit(sub_vectors)
        
        # 存储聚类中心(码本)
        codebooks.append(kmeans.cluster_centers_)
    
    return codebooks, sub_dim

# 示例:生成随机向量并训练PQ
np.random.seed(42)
n_samples = 10000
d = 128
vectors = np.random.randn(n_samples, d).astype(np.float32)

codebooks, sub_dim = product_quantization_train(vectors, m=8, k=256)
print(f"训练完成,每个码本包含{len(codebooks[0])}个聚类中心")
print(f"每个聚类中心维度: {codebooks[0].shape[1]}")

训练完成后,每个子空间都有一个包含256个聚类中心的码本。当需要量化一个新向量时:

  1. 将向量分割成8个16维的子向量
  2. 对每个子向量,在对应的码本中找到最近的聚类中心
  3. 用聚类中心的索引(0-255)代替原始子向量

这样,原本需要128个float32(512字节)的向量,现在只需要8个uint8(8字节)——压缩比达到64:1!

2.2 PQ的距离计算:非对称距离的妙用

PQ最巧妙的设计在于它的距离计算方式。传统方法需要先还原量化向量,再计算距离,但PQ使用了非对称距离计算(Asymmetric Distance Computation, ADC),直接通过预计算的距离表加速。

def build_distance_table(query_vector, codebooks):
    """
    为查询向量构建距离表
    
    参数:
        query_vector: 查询向量, shape=(d,)
        codebooks: PQ训练得到的码本列表
    
    返回:
        distance_table: 距离表,shape=(m, k)
    """
    m = len(codebooks)
    sub_dim = codebooks[0].shape[1]
    k = codebooks[0].shape[0]
    
    distance_table = np.zeros((m, k), dtype=np.float32)
    
    # 分割查询向量
    for i in range(m):
        sub_query = query_vector[i*sub_dim:(i+1)*sub_dim]
        
        # 计算查询子向量与当前子空间所有聚类中心的距离
        for j in range(k):
            # 欧氏距离平方(避免开方,节省计算)
            diff = sub_query - codebooks[i][j]
            distance_table[i, j] = np.dot(diff, diff)
    
    return distance_table

def pq_search(query_vector, pq_codes, distance_table):
    """
    使用PQ进行近似最近邻搜索
    
    参数:
        query_vector: 查询向量
        pq_codes: 数据库中所有向量的PQ编码,shape=(n_vectors, m)
        distance_table: 预计算的距离表
    
    返回:
        distances: 查询向量与每个数据库向量的距离
    """
    n_vectors = pq_codes.shape[0]
    m = pq_codes.shape[1]
    
    distances = np.zeros(n_vectors, dtype=np.float32)
    
    # 对每个数据库向量,通过查表求和得到距离
    for i in range(n_vectors):
        dist =
向量量化(vector quantization) 首先需要搞清楚向量量化和向量降维的区别,在AI领域中,向量往往是以高维的形式存在的,每一维的元素都包含了数据的特征。例如一张图片在经过VGG16网络的计算后,输出的会是一个4096维的向量,而向量降维所研究的侧重点是如何将高维的向量转换为相对低维的向量,以提高计算效率,如下图所示。在此过程中,降维算法会去除高维向量中冗余的特征元素或者噪声,常见的算法有主成分分析(PCA)、线性判别分析(LDA)等。 阅读详情

相关推荐

google Lyra 中的 RVQ(矢量残差量化)

Google Lyra 是一种超低码率音频编解码器,利用神经网络模型(如 RVQ + GAN)在极小数据量下高质量还原自然语音。

这个人很懒什么都没有~ 815

Extreme Compression of Large Language Models via Additive Quantization

准确的开放大型语言模型 (LLM) 的出现导致了对高性能量化技术的竞争,这些技术可以在最终用户设备上执行它们。在本文中,我们从多码簿量化 (MCQ) 中经典方法的角度重新审视了“极端”LLM 压缩问题,定义为针对极低的位数,例如每个参数 2 到 3 位。我们的算法称为 AQLM,它推广了用于信息检索的经典加法量化 (AQ) 方法,通过两项创新来推进 LLM 压缩的最新技术:1) 以输入自适应方式学习权重矩阵的加法量化,以及 2) 每个transformer模块的码本参数的联合优化。

c_cpp_csharp的专栏 343

【音频处理】什么是残差矢量量化?

神经压缩技术作为一种新方法正在迅速兴起,它利用神经网络来表示、压缩和重建数据,有可能实现高压缩率和几乎为零的感知信息损失。

gongdiwudu的专栏 4594

RVQ:残差向量量化器(Residual Vector Quantizer)【将连续数据(如编码器输出的特征向量)离散化为有限码字(CodeWord)来实现压缩】【码本(codeBook)】多模态融合

残差向量量化器(RVQ)是SoundStream的核心创新,它通过多层残差逼近和结构化Dropout高压缩比:在3–18kbps比特率下保持音频质量。低延迟:支持实时流式处理。多功能性:联合支持压缩与增强任务(如降噪)。RVQ的设计思想也可推广至其他模态(如图像/视频压缩)。如需进一步探讨数学细节或训练技巧,请随时提问!

u013250861的博客 839

医学数据库设计与实践:包含4个专业数据库的集成方案

数据库是一种数据存储和管理的系统,允许用户对数据进行高效、安全和可靠的处理。它们由数据模型构成,能够实现数据的持久化存储、检索、更新和管理。在医学领域,数据库承载了大量患者信息、研究成果和其他重要的健康数据,是现代医疗信息系统不可或缺的一部分。电子健康记录(Electronic Health Record,EHR)是使用计算机技术来存储和管理患者健康信息的系统。与传统的纸质记录相比,EHR提供了更快的访问速度、更精确的数据管理、更强大的数据分析能力,并且便于远程访问和共享。

weixin_34520664的博客 1061

《IC验证必看|IC验证的全流程概览(从DUT到回归交付)》

本文系统介绍了IC验证的全流程,从理解设计需求到最终交付验证结果。主要内容包括:1)深入理解DUT的功能和接口;2)制定详细的测试计划(Testplan);3)搭建UVM验证平台;4)执行定向和随机测试并进行回归;5)分析功能、代码和断言覆盖率;6)交付完整的验证报告。文章强调验证是一个闭环过程,特别指出新手容易忽视测试计划和覆盖率分析这两个关键环节,导致验证不充分。文末还提出思考题,引导读者反思验证计划的制定方法。

m0_46663240的博客 1269

嵌入式系统启动流程解析:ROM Code、Bootloader与启动代码的协同工作

本文深入解析嵌入式系统从通电到运行的完整启动流程,详细阐述了ROM Code、Bootloader与启动代码三者如何像接力赛般协同工作。ROM Code作为芯片固化的初始引导程序,负责硬件自检并加载Bootloader;Bootloader作为系统总指挥,初始化关键硬件并加载操作系统内核;启动代码则为C语言运行环境铺平道路。理解这三者的分工与协作,是进行系统移植和解决启动问题的关键。

dd012的博客 555

手把手教你用内核远程call实现64位进程注入(附完整ShellCode示例)

本文深入探讨了在Windows 64位环境下,通过内核态直接操作线程TrapFrame结构实现进程注入的高级技术。文章提供了从驱动框架设计、用户态-内核态通信,到定位修改TrapFrame、编写Shellcode及执行环境恢复的完整实战指南,并附有详细的代码示例,为安全研究人员和开发者提供了绕过用户态检测、实现底层远程代码执行的新思路。

weixin_28396629的博客 352

汽车BMS技术分享及其HIL测试方案

在全球碳中和目标的战略驱动下,新能源汽车产业正以指数级速度重塑交通出行格局。动力电池作为电动汽车的"心脏",其性能与安全性不仅直接决定了车辆的续航里程、使用寿命等关键指标,更深刻影响着消费者对电动汽车的市场接受度。而电池管理系统(Battery Management System, BMS)是动力电池安全运行与性能释放的核心技术支撑。

Speedgoat的博客 2695

接入穿山甲SDK时,Unity打Android包报错日志

SDK工程设置为Enable,项目工程设置为Disable。2、将unitypackage导入包名为:com.DefaultCompany.Myproject的另一个工程,打包报错。3、点击工程默认弹出Enable Android Auto-resolution 设置选项,点击Enable。1、新建一个空工程,设置包名为:com.ceshi.hewen,正常打包无报错,导出unitypackage。2、点击Reset to Defaults 重置参数,再点击ok关闭设置窗口。

不文不武的禾文 3590

实战神器指标解析 篇四:主力吸筹指标及其分析和使用说明

主力可能会进行多次吸筹,因此需要根据黄色趋势线来判断是否有转强的变化。一旦出现转强的迹象,这通常意味着吸筹已经接近尾声,即将进入拉升前期。此时可以介入进行建仓。该股票指标通过分析价格变动的方式,能够精确跟踪并标识主力的吸筹行为。当底部出现多根洋红色柱子时,这通常表示出现了主力吸筹的指示。这段代码主要用于分析股票的底部吸筹情况、趋势和涨跌情况。

生活在别处 6251

实现电脑同时上内网和外网(或通过外网访问到该电脑通过该电脑访问内网)

一、需求描述 目前使用的公司网络只能够上内网,但是又有上外网查资料的需求: ①想要实现电脑既能上内网的同时也可以上外网; ②想要使用其他外网电脑使用外网连接到该电脑,通过该电脑访问内部的网络内容。 二、准备内容 电脑必须具备两个网卡,即:可以同时连接内网和外网(比如我的笔记本就可以:使用网线连接笔记本网口与内网通讯,使用WIFI连接手机热点访问外部网络); 注意:如果只有一个网口,可以另外购买USB的无线网卡来实现上网卡。 三、实现电脑同时上内网和外网的操作步骤 3.1、网络拓扑图 ..

提供C#相关开发 、云计算、运维测试、网络安全相关技术分享与服务,有意向可联系。 2万+

RK3576 PCIE接口调试:基于RTL8111HS的网卡驱动移植

检查项方法电源电压复位时序检查设备树 reset-gpios链路速率设备识别lspci -vvv驱动加载。

小灰灰的博客 746

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

上一篇: Fiddler证书插件+Wireshark密钥日志实战:HTTPS流量解密保姆级避坑指南
下一篇: TwinCAT3 UDP通信避坑指南:如何高效处理消息弹窗与FIFO溢出
silver
博客等级 码龄26年 130粉丝 2072原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址