LMDeploy 量化部署实践闯关任务
基础任务(完成此任务即完成闯关)
- 使用结合W4A16量化与kv cache量化的internlm2_5-1_8b-chat模型封装本地API并与大模型进行一次对话,作业截图需包括显存占用情况与大模型回复,参考4.1 API开发,请注意2.2.3节与4.1节应使用作业版本命令。

ssh -CNg -L 23333:0.0.0.0:23333 root@ssh.intern-ai.org.cn -p 我的端口 我才能打开,按照攻略输入密码会报错= =

不知道为啥没法输入中文,只能输入个英文让他回答



三种打开方式
2.2 LMDeploy Lite
lmdeploy serve api_server \
/root/models/internlm2_5-7b-chat \ 输入的模型
–model-format hf \ 用haggingface二进制储存
–quant-policy 4 \ # 这里可以0(不量化) 4 8 代表 int4 int8
–cache-max-entry-count 0.4\ #这里是kv缓存占剩余显存的比例, 如果加载了模型参数后显存剩余10g.这里就要用4G存kv缓存 降低此值可减少显存占用,但可能牺牲吞吐量;提高则反之。
–server-name 0.0.0.0 \ 所有服务器都能链接到
–server-port 23333 \ 但是要输入正确的端口
–tp 1
2.2.3 W4A16 模型量化和部署
准确说,模型量化是一种优化技术,旨在减少机器学习模型的大小并提高其推理速度。量化通过将模型的权重和激活从高精度(如16位浮点数)转换为低精度(如8位整数、4位整数、甚至二值网络)来实现。
lmdeploy lite auto_awq: lite这是LMDeploy的命令,用于启动量化过程,而auto_awq代表自动权重量化(auto-weight-quantization)。
/root/models/internlm2_5-7b-chat: 模型文件的路径。
–calib-dataset ‘ptb’: 这个参数指定了一个校准数据集,这里使用的是’ptb’(Penn Treebank,一个常用的语言模型数据集)。
–calib-samples 128: 这指定了用于校准的样本数量—128个样本
–calib-seqlen 2048: 这指定了校准过程中使用的序列长度—2048
–w-bits 4: 这表示权重(weights)的位数将被量化为4位。
–work-dir /root/models/internlm2_5-7b-chat-w4a16-4bit: 这是工作目录的路径,用于存储量化后的模型和中间结果。

量化前↑ 只有这三模型
量化后,加载新模型


讲的故事效果更好?


这个代码去量化24b的模型会报错,config找不到,所以就用1.6b模型先做实例,跑一次上面的代码需要10个多小时,且一次虚拟机只能开12小时,很难搞定= =

这边记录了
- 使用Function call功能让大模型完成一次简单的"加"与"乘"函数调用,作业截图需包括大模型回复的工具调用情况,参考4.2 Function call(选做)
无限报错,没时间解决了
视频学习笔记
-

模型部署工具lmdeploy,方便将已经训练好的模型进行部署, -
用 chat命令开始聊天
lmdeploy chat /root/models/internlm2_5-7b-chat
即可调用本地部署好的模型进行聊天, -
进行网页版调用 serve命令
lmdeploy serve api_server \ /root/models/internlm2_5-7b-chat \ --model-format hf \ --quant-policy 0 \ --server-name 0.0.0.0 \ --server-port 23333 \ --tp 1
2.1.3 以Gradio网页形式连接API服务器
保持第一个终端不动,在新建终端中输入exit退出。
输入以下命令,使用Gradio作为前端,启动网页。
lmdeploy serve gradio http://localhost:23333 \
--server-name 0.0.0.0 \
--server-port 6006


这个东西听说比vllm快

大模型只做transformer的decode,核心算子是attention,再attention中,我们对输入x首先要做3个线性变换变成qkv,其中qk做内积计算得分,v做注意力汇聚,输入阶段可以理解为对大模型输入问题的阶段,问题是一个序列x,包含多个token,这些token是一次性输入给大模型的,我们再计算时会一次性拿到所有的qkv,这个阶段称为预填充阶段,
大模型生成回答的过程中,token是逐个生成的,我们要把新生成的x 和历史上所有的x 进行 wq wk wv的计算,这里 除了新生成的x之外,历史所有的x生成的qkv之间的计算就是重复的
也就是说新生成的x_ 和生成qx_ 和kx1…kx10 相乘是正常,但是qx1和kx10 相乘就是多余的(红色框都是多余的)
新的迭代只输入新的 Qx_ 与历史的k和v进行计算注意力分数,将每轮迭代的KV都进行缓存,可以供下次迭代使用

这里的hidden_states ,对输入阶段他是x对应的token 对生成阶段 就是最新的x对应的embedding向量
past_key_value: 输入阶段是空的,输出阶段会传入历史的
如果卡大于1张
就把qkv层合成到一起 变成self.wqkv
然后再把它的k 和v拆开

cos ,sin 计算旋转位置编码
然后获得 经过旋转位置编码后的q k (past_key_value.update)
if past_key_value 非空 , 传入 历史上的key_states, value_states, 就要将这次的keyv 和历史上进行一个合成,输出新的key_states, value_states
拿到key_states, value_states 进行attention计算

这个实现过, 模型实现逻辑,底层会计算剩余的显存能申请多少个kv cache block 内存块
为什么做量化
- lamma3 405b 16浮点数 每个参数2字节, 需要占用810g的显存, 公司单机8卡a100服务器满血80g版本也就640g显存 我们连权重都放不下…
- 如果量化成int4 就202g,就可以分给kvcache 然后可以高并发支持

激活值:
3. 线性层 y = wx+b w是权重 可以进行权重量化
4. x就是激活值 激活值量化就是把输入的x也量化了 = =
5. 训练后量化

6. int8 几乎无损 int4略有损失,其中kv block数量可以提升4倍和2倍,有更长的上下文和更高的并发吞吐

w4a16 指权重4bit 量化 a 激活值16不做量化 计算时还要反量化成 16浮点数
为啥要量化? 因为英伟达底层都有int8的计算单元,将浮点数转化为定点数,
transformer的decoder阶段 的计算瓶颈是在访存上(通信需要的数据量),转化为int4 减少了io操作,所以加速2.4倍
AWQ算法
- 权重并不等同重要,只有很小部分的显著权重对推理结果影响较大
- 想对最小部分的显著权重保持fp16 ,对其他权重进行地比特量化,所以就要进行 权重挑选,那如何挑选呢?
- 指标ppl(困惑度) ,可以看到随机的困惑度很大,从14.62----119.76
根据激活值x分布挑选是最优解,


- 对于输入的x 对平均值较大的一列,就是显著通道,如上例子x是"你大胆"x轴是512维度的embedding,将每个embedding平均权重后得知最大的权重是第二列 , 在进行矩阵乘法的时候, 她对应的q_w只和第二行进行计算,拿出显著权重进行fp16 其它权重就进行int4草
- 如何支持不同的kernel 有时候是int4有时候是float16?



取整操作就会造成一定的精度损失


6. 这里的w是很少量的显著权重,这个数乘上缩放因子s>1,还是不如最大值大,所以△ 和 △` 是近似相等的, 所以在s可控的越大越好的,相对误差越低,就是w*s越接近max(w) 误差越少,实践计算 s=1.25时 △ 和 △’ 只有2.8%是不同的,


7. 对x求平均值 拿到sx 然后对 qw的权重的每一行都乘上s进行量化
8. 'ptb’是用来标定的数据集,数据集样本数量128 量化位数4位,分组通道数以128为一组计算x 把hidden_size 1028的embedding分组找最大的

训练的时候是4096 和预测阶段遇到的长度不一致,




如果训练的时候只有3位位置编码,则1499 和 499 就是同样的位置编码
方案就是预留好位置, 但是现实情况模型只能外推20%,如果超过模型输出就是乱码
预训练时高位都是0 导致没学到什么东西


8. 这个方法比较好,它只知道数字的相对大小,比如3>2 之类的, 进行进制转换10进制转化成16进制 从1k->4k

- 对于新的位置n,将它的base进行的等效的放大,10->16就可以很好的表示更多的位置

python解释器可以计算一些东西,或者网络可以搜索到一些东西
1240



被折叠的 条评论
为什么被折叠?



