第3关 L2G3000 LMDeploy 量化部署进阶实践

【微知】关于GB200 NVL72服务器的一些信息?(36CPU72GPU;LPDDR5X 17T;HBM3e 13.5T;5代NVlink 1.8TB; 720P算力FP8;120Kw) 本文仅根据官网介绍分析,存在纰漏仅供参考。 阅读详情

LMDeploy 量化部署实践闯关任务
基础任务(完成此任务即完成闯关)

  1. 使用结合W4A16量化与kv cache量化的internlm2_5-1_8b-chat模型封装本地API并与大模型进行一次对话,作业截图需包括显存占用情况与大模型回复,参考4.1 API开发,请注意2.2.3节与4.1节应使用作业版本命令。

在这里插入图片描述

ssh -CNg -L 23333:0.0.0.0:23333 root@ssh.intern-ai.org.cn -p 我的端口 我才能打开,按照攻略输入密码会报错= =
在这里插入图片描述
不知道为啥没法输入中文,只能输入个英文让他回答
加粗样式

在这里插入图片描述


三种打开方式

2.2 LMDeploy Lite

lmdeploy serve api_server \
/root/models/internlm2_5-7b-chat \ 输入的模型
–model-format hf \ 用haggingface二进制储存
–quant-policy 4 \ # 这里可以0(不量化) 4 8 代表 int4 int8
–cache-max-entry-count 0.4\ #这里是kv缓存占剩余显存的比例, 如果加载了模型参数后显存剩余10g.这里就要用4G存kv缓存 降低此值可减少显存占用,但可能牺牲吞吐量;提高则反之。
–server-name 0.0.0.0 \ 所有服务器都能链接到
–server-port 23333 \ 但是要输入正确的端口
–tp 1

2.2.3 W4A16 模型量化和部署
准确说,模型量化是一种优化技术,旨在减少机器学习模型的大小并提高其推理速度。量化通过将模型的权重和激活从高精度(如16位浮点数)转换为低精度(如8位整数、4位整数、甚至二值网络)来实现。

lmdeploy lite auto_awq: lite这是LMDeploy的命令,用于启动量化过程,而auto_awq代表自动权重量化(auto-weight-quantization)。
/root/models/internlm2_5-7b-chat: 模型文件的路径。
–calib-dataset ‘ptb’: 这个参数指定了一个校准数据集,这里使用的是’ptb’(Penn Treebank,一个常用的语言模型数据集)。
–calib-samples 128: 这指定了用于校准的样本数量—128个样本
–calib-seqlen 2048: 这指定了校准过程中使用的序列长度—2048
–w-bits 4: 这表示权重(weights)的位数将被量化为4位。
–work-dir /root/models/internlm2_5-7b-chat-w4a16-4bit: 这是工作目录的路径,用于存储量化后的模型和中间结果。
量化前
量化前↑ 只有这三模型

量化后,加载新模型

在这里插入图片描述
讲的故事效果更好?
在这里插入图片描述

在这里插入图片描述
这个代码去量化24b的模型会报错,config找不到,所以就用1.6b模型先做实例,跑一次上面的代码需要10个多小时,且一次虚拟机只能开12小时,很难搞定= =
在这里插入图片描述
这边记录了

  1. 使用Function call功能让大模型完成一次简单的"加"与"乘"函数调用,作业截图需包括大模型回复的工具调用情况,参考4.2 Function call(选做)

无限报错,没时间解决了

视频学习笔记

  1. 在这里插入图片描述
    模型部署工具lmdeploy,方便将已经训练好的模型进行部署,

  2. 用 chat命令开始聊天
    lmdeploy chat /root/models/internlm2_5-7b-chat
    即可调用本地部署好的模型进行聊天,

  3. 进行网页版调用 serve命令

     	lmdeploy serve api_server \
     	    /root/models/internlm2_5-7b-chat \
     	    --model-format hf \
     	    --quant-policy 0 \
     	    --server-name 0.0.0.0 \
     	    --server-port 23333 \
     	    --tp 1
    

2.1.3 以Gradio网页形式连接API服务器
保持第一个终端不动,在新建终端中输入exit退出。

输入以下命令,使用Gradio作为前端,启动网页。

		lmdeploy serve gradio http://localhost:23333 \
		    --server-name 0.0.0.0 \
		    --server-port 6006

在这里插入图片描述
在这里插入图片描述
这个东西听说比vllm快

在这里插入图片描述
大模型只做transformer的decode,核心算子是attention,再attention中,我们对输入x首先要做3个线性变换变成qkv,其中qk做内积计算得分,v做注意力汇聚,输入阶段可以理解为对大模型输入问题的阶段,问题是一个序列x,包含多个token,这些token是一次性输入给大模型的,我们再计算时会一次性拿到所有的qkv,这个阶段称为预填充阶段,
大模型生成回答的过程中,token是逐个生成的,我们要把新生成的x 和历史上所有的x 进行 wq wk wv的计算,这里 除了新生成的x之外,历史所有的x生成的qkv之间的计算就是重复的
也就是说新生成的x_ 和生成qx_ 和kx1…kx10 相乘是正常,但是qx1和kx10 相乘就是多余的(红色框都是多余的)

新的迭代只输入新的 Qx_ 与历史的k和v进行计算注意力分数,将每轮迭代的KV都进行缓存,可以供下次迭代使用
在这里插入图片描述
这里的hidden_states ,对输入阶段他是x对应的token 对生成阶段 就是最新的x对应的embedding向量
past_key_value: 输入阶段是空的,输出阶段会传入历史的
如果卡大于1张
就把qkv层合成到一起 变成self.wqkv
然后再把它的k 和v拆开
在这里插入图片描述
cos ,sin 计算旋转位置编码
然后获得 经过旋转位置编码后的q k (past_key_value.update)

if past_key_value 非空 , 传入 历史上的key_states, value_states, 就要将这次的keyv 和历史上进行一个合成,输出新的key_states, value_states
拿到key_states, value_states 进行attention计算

在这里插入图片描述

这个实现过, 模型实现逻辑,底层会计算剩余的显存能申请多少个kv cache block 内存块

为什么做量化

  1. lamma3 405b 16浮点数 每个参数2字节, 需要占用810g的显存, 公司单机8卡a100服务器满血80g版本也就640g显存 我们连权重都放不下…
  2. 如果量化成int4 就202g,就可以分给kvcache 然后可以高并发支持

在这里插入图片描述

激活值:
3. 线性层 y = wx+b w是权重 可以进行权重量化
4. x就是激活值 激活值量化就是把输入的x也量化了 = =
5. 训练后量化

在这里插入图片描述
6. int8 几乎无损 int4略有损失,其中kv block数量可以提升4倍和2倍,有更长的上下文和更高的并发吞吐

在这里插入图片描述
w4a16 指权重4bit 量化 a 激活值16不做量化 计算时还要反量化成 16浮点数
为啥要量化? 因为英伟达底层都有int8的计算单元,将浮点数转化为定点数,
transformer的decoder阶段 的计算瓶颈是在访存上(通信需要的数据量),转化为int4 减少了io操作,所以加速2.4倍

AWQ算法

  1. 权重并不等同重要,只有很小部分的显著权重对推理结果影响较大
  2. 想对最小部分的显著权重保持fp16 ,对其他权重进行地比特量化,所以就要进行 权重挑选,那如何挑选呢?
  3. 指标ppl(困惑度) ,可以看到随机的困惑度很大,从14.62----119.76
    根据激活值x分布挑选是最优解,
    在这里插入图片描述
    在这里插入图片描述
  4. 对于输入的x 对平均值较大的一列,就是显著通道,如上例子x是"你大胆"x轴是512维度的embedding,将每个embedding平均权重后得知最大的权重是第二列 , 在进行矩阵乘法的时候, 她对应的q_w只和第二行进行计算,拿出显著权重进行fp16 其它权重就进行int4草
  5. 如何支持不同的kernel 有时候是int4有时候是float16?
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    取整操作就会造成一定的精度损失
    在这里插入图片描述

在这里插入图片描述
6. 这里的w是很少量的显著权重,这个数乘上缩放因子s>1,还是不如最大值大,所以△ 和 △` 是近似相等的, 所以在s可控的越大越好的,相对误差越低,就是w*s越接近max(w) 误差越少,实践计算 s=1.25时 △ 和 △’ 只有2.8%是不同的,
在这里插入图片描述

在这里插入图片描述
7. 对x求平均值 拿到sx 然后对 qw的权重的每一行都乘上s进行量化
8. 'ptb’是用来标定的数据集,数据集样本数量128 量化位数4位,分组通道数以128为一组计算x 把hidden_size 1028的embedding分组找最大的

在这里插入图片描述
训练的时候是4096 和预测阶段遇到的长度不一致,
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

如果训练的时候只有3位位置编码,则1499 和 499 就是同样的位置编码
方案就是预留好位置, 但是现实情况模型只能外推20%,如果超过模型输出就是乱码
预训练时高位都是0 导致没学到什么东西

在这里插入图片描述
在这里插入图片描述
8. 这个方法比较好,它只知道数字的相对大小,比如3>2 之类的, 进行进制转换10进制转化成16进制 从1k->4k
在这里插入图片描述

  1. 对于新的位置n,将它的base进行的等效的放大,10->16就可以很好的表示更多的位置
    在这里插入图片描述
    python解释器可以计算一些东西,或者网络可以搜索到一些东西
VTsystem背景检查函数Value Valid Value Valid是个非常实用的函数,如何让它灵活的为我们所用,便是本文的内容。 阅读详情

相关推荐

QT | QT打包生成单个EXE文件

1.以release方式运行程序 2.在release文件夹中找到.exe文件 如果没有找到exe,可能是因为在项目中勾选了shadow build,你可以在构建目录中找到exe 3.将exe放在一个新建的文件夹中,因为待会儿会生成很多dll文件 4.点击电脑左下角搜索QT,打开Qt 5.8 for Desktop (MinGQW 5.3.0 32bit) 5.进入刚刚新建的文件夹,输入wi...

⊳ideal world⊲~ヽ(゚︺゚)Hi 1240

进阶岛-第3关-L2G3000-LMDeploy 量化部署进阶实践

要运行参数量为7B的InternLM2.5,由查询InternLM2.5-7b-chat的config.json文件可知,bfloat16所以我们需要大于14GB的显存,选择(24GB显存容量),后选择,等状态栏变成运行中,点击,我们即可开始部署。在终端中,让我们输入以下指令,来创建一个名为lmdeploy的conda环境,python版本为3.10,创建成功后激活环境并安装0.5.3版本的lmdeploy及相关包。【我还使用之前的lagent虚拟环境,不想创新的了】

m0_52460096的博客 1230

手把手教你用CH582的USB0/1双接口玩转CherryUSB协议栈(附完整代码)

本文深入解析CH582双USB接口硬件架构,详细讲解如何通过CherryUSB协议栈实现双接口协同工作,包括中断处理设计、端点资源分配和复合设备描述符配置。提供HID+CDC复合设备实战案例,并分享高级调试技巧与性能优化方法,帮助开发者充分利用CH582的USB0/1双接口潜力。

weixin_42525637的博客 265

进阶岛 第3关 L2G3000 LMDeploy 量化部署进阶实践

LMdeploy部署

tianxingzhe的博客 222

机器学习项目(四)疫情期间网民情绪识别 (一)

疫情期间网民情绪识别 赛题背景 2019新型冠状病毒(2019-nCoV)感染的肺炎疫情发生对人们生活生产的方方面面产生了重要影响,并引发国内舆论的广泛关注,众多网民参与疫情相关话题的讨论。为了帮助政府掌握真实社会舆论情况,科学高效地做好防控宣传和舆情引导工作,本赛题针对疫情相关话题开展网民情绪识别的任务。 数据介绍 训练集 10万条 无标记样本90万条 测试集1万条 数据集依据与“新冠肺炎”相关...

qq_33357094的博客 8977

AI Agent辅助企业财务分析与预测

企业财务分析与预测是企业管理中至关重要的环节,准确的财务分析与预测能够帮助企业管理者做出明智的决策,合理规划资源,降低风险。然而,传统的财务分析与预测方法往往依赖于人工经验和简单的统计模型,存在效率低、准确性差等问题。随着人工智能技术的飞速发展,AI Agent作为一种智能的软件实体,能够自主地感知环境、做出决策并采取行动,为企业财务分析与预测带来了新的解决方案。

AI天才研究院 927

【阿尼亚探索大模型】书生大模型实战营-进阶岛第3关(L2G3000)LMDeploy 量化部署进阶实践

启动对应虚拟环境,并安装所需依赖包,完成环境配置。依然选择30%A100开发机进行实验。使用conda创建虚拟环境。

qq_45943172的博客 413

趋势跟踪策略

/ 绘制K线图的下跌部分,使用绿色标记 stickline(close>=open,high,close,1,1,colorgreen);end // 在图表上绘制当前趋势的图标,如果trend=1或-1 drawicon(trend=1,stopprice,10);end // 绘制K线图的上涨部分,使用红色标记 stickline(close>=open,high,close,1,1,colorred);

2401_84919512的博客 363

L2G3000 LMDeploy 量化部署进阶实践

lmdeploy lite auto_awq: lite这是LMDeploy的命令,用于启动量化过程,而auto_awq代表自动权重量化(auto-weight-quantization)。–work-dir /root/models/internlm2_5-7b-chat-w4a16-4bit: 这是工作目录的路径,用于存储量化后的模型和中间结果。–calib-dataset ‘ptb’: 这个参数指定了一个校准数据集,这里使用的是’ptb’(Penn Treebank,一个常用的语言模型数据集)。

westen51的博客 1763

R语言机器学习 频谱分析

由傅里叶理论可知,时域中的任何信号都可以由一个或多个具有适当频率、幅度和相位的正弦 波叠加而成。也就是说,任何时域信号都可以变换成相应的频域信号,通过频域测量可以得到信号在某个特定频率.上的能量值。频谱分析就是在频域上分析时间序列的方法,它使用傅里叶分析方法,将时域信号转换到频域,并从频域中找出信号频谱的变化规律。原始周期图不是谱密度的一致估计量,但相邻值是渐近独立的。0点的周期图在理论上是0,因为去掉了级数的均值(但这可能会受到渐减的影响):在平滑过程中,它被相邻值的插值所取代,并且该频率不返回任何值。

Mrrunsen的博客 1185

8.DJI-PSDK:一站式项目功能开发总结(空中气象站项目/激光甲烷检测项目)

本文将以一篇文章的幅度快速完成: 项目一:空中气象站项目; 项目二:激光甲烷项目; 项目所使用的PSDK来源于第0章节末尾的百度网盘;解压:Payload-SDK-3.8.zip代码所在目录:双击打开: 修改打印串口和相关波特率,我们修改如下: 进行相关编译选项配置如下: :

哒宰的博客 298

书生大模型L2G3000LMDeploy 量化部署进阶实践

打开,进入如下界面并按箭头指示顺序点击。点选开发机,自拟一个开发机名称,选择镜像。我们要运行参数量为7B的InternLM2.5,由查询InternLM2.5-7b-chat的config.json文件可知,bfloat16所以我们需要大于14GB的显存,选择(24GB显存容量),后选择,等状态栏变成运行中,点击,我们即可开始部署。在终端中,让我们输入以下指令,来创建一个名为lmdeploy的conda环境,python版本为3.10,创建成功后激活环境并安装0.5.3版本的lmdeploy及相关包。

Sean_505的博客 1892

33、Windows Server 2016 系统管理与安全防护指南

本文详细介绍了Windows Server 2016系统中的三大核心管理与安全功能:WSUS补丁管理、Windows Defender反恶意软件配置以及Windows Server Backup数据备份与恢复。涵盖WSUS初始同步、组策略配置客户端、混合环境更新评估流程;Windows Defender的图形化与PowerShell管理方式,以及通过组策略集中管控;Windows Server Backup的安装、单次与计划备份设置、增量备份机制和文件恢复操作。内容适用于企业IT管理员进行系统维护与安全防护

beta5的博客 98

书生大模型实战营第四期L2G3000(LMDeploy 量化部署进阶实践)

1、首先根据要求选择镜像和硬件配置,创建开发机。显存估算:我们要运行参数量为7B的InternLM2.5,由查询InternLM2.5-7b-chat的config.json文件可知,bfloat16所以我们需要大于14GB的显存,选择(24GB显存容量),后选择,等状态栏变成运行中,点击,我们即可开始部署。2、然后创建conda环境,安装相关包。3、验证模型文件是否可用。运行命令,启动CLI对话界面此时资源占用情况如下:如果选择。

stinkypudding的博客 1301

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

书生大模型实战营 L2G3000 LMDeploy量化部署进阶实践

获取模型。

qq_42803347的博客 1504

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

L2G3000——LMDeploy 量化部署进阶实践

是一个专门用于创建文件夹并设置开发机共享目录的软链接。

taoismimortal的博客 901

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

书生大模型实战营L2G3000 - LMDeploy 量化部署进阶实践

创建开发机,选择镜像。我们要运行参数量为7B的InternLM2.5,由查询InternLM2.5-7b-chat的config.json文件可知,bfloat16所以我们需要大于14GB的显存,选择(24GB显存容量),后选择,等状态栏变成运行中,点击,我们即可开始部署。在终端中,让我们输入以下指令,来创建一个名为lmdeploy的conda环境,python版本为3.10,创建成功后激活环境并安装0.5.3版本的lmdeploy及相关包。

Ameliorating的博客 788

L2G3000作业-LMDeploy 量化部署进阶实践

书生浦语训练营

m0_73878994的博客 1056

L2G3000: LMDeploy 量化部署进阶实践

使用结合W4A16量化与kv cache量化的internlm2_5-1_8b-chat模型封装本地API并与大模型进行一次对话,作业截图需包括显存占用情况与大模型回复,参考4.1 API开发,请注意2.2.3节与4.1节应使用作业版本命令。关于Function call,即函数调用功能,它允许开发者在调用模型时,详细说明函数的作用,并使模型能够智能地根据用户的提问来输入参数并执行函数。我们通过2.1 LMDeploy API部署InternLM2.5的实践为例,输入以下指令,启动API服务器。

weixin_43125088的博客 536

L2G3000书生大模型实战营第4期——3.3 LMDeploy 量化部署实践

使用结合W4A16量化与kv cache量化的internlm2_5-1_8b-chat模型封装本地API并与大模型进行一次对话;使用Function call功能让大模型完成一次简单的"加"与"乘"函数调用。

wuzipl的博客 1295

大模型学习——L2G3000Lagent LMDeploy 量化部署进阶实践

运行对应的结果:python /root/internlm2_5_func.py。建立对应文件夹:touch /root/internlm2_5_func.py。运行如下命令,激活conda环境并启动命令行客户端。发现此时显存占了80%

weixin_43808729的博客 769

进阶岛-L2G3000

在(lmdeploy)虚拟环境下,执行 lmdeploy chat /root/models/internlm2_5-7b-chat,就可以在命令行界面和InternLM2.5尽情对话了,注意输入内容完成后需要按两次回车才能够执行。新打开一个终端,输入nvidia-smi 或者 studio-smi 命令可以查看当前显存的占用情况。

To be a better man 838

(笔记+作业)书生大模型实战营春节卷王班---L2G3000 LMDeploy 量化部署进阶实践

(笔记+作业)书生大模型实战营春节卷王班---L2G3000 LMDeploy 量化部署进阶实践

haidizym的博客 913

书生浦语大模型实战训练营L2G3000 LMDeploy 量化部署实践闯关任务

使用结合W4A16量化与kv cache量化的internlm2_5-1_8b-chat模型封装本地API并与大模型进行一次对话。使用Function call功能让大模型完成一次简单的"加"与"乘"函数调用。

qq_30731313的博客 1084

L2G3000-LMDeploy 量化部署实践

LMdeploy量化部署实践

ffffflk的博客 626

IternLM-4-进阶岛-L2G3000-LMDeploy 量化部署进阶实践

关于Function call,即函数调用功能,它允许开发者在调用模型时,详细说明函数的作用,并使模型能够智能地根据用户的提问来输入参数并执行函数。模型在运行时,占用的显存可大致分为三部分:模型参数本身占用的显存、kv cache占用的显存,以及中间运算结果占用的显存。2、kv cache占用16.4GB:剩余显存24-3.5=20.5GB,kv cache占用40%,即20.5*0.4=8.2GB。相比使用BF16精度的kv cache,int4的Cache可以在相同。

极客九日的专栏 1242
上一篇: L2G2000 Lagent 自定义你的 Agent 智能体
下一篇: 第6关 L1G6000 OpenCompass 评测书生大模型实践
忙叔叔√
博客等级 码龄8年 41粉丝 19原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址