IternLM-4-进阶岛-L2G3000-LMDeploy 量化部署进阶实践

chrome-win64-159.0.8145.0(Canary).zip 内容概要:Chrome for Testing 官方 chrome 159.0.8145.0 win64 平台(金丝雀版通道),原版未修改,附来源说明。 适合人群:Windows 64 位 上的自动化测试工程师、爬虫开发者、CI 环境搭建者。 使用场景及目标:①Chrome for Testing 官方浏览器本体,供自动化测试使用;②与同版本 chromedriver 配套;③CI/容器环境的浏览器运行时。 其他说明:Chrome for Testing 为 Google 官方发布、允许自由分发的文件;本资源为第三方整理的下载便利服务。 立即下载

Q1:使用结合W4A16量化与kv cache量化的internlm2_5-1_8b-chat模型封装本地API并与大模型进行一次对话,作业截图需包括显存占用情况与大模型回复,参考4.1 API开发(优秀学员必做),请注意2.2.3节与4.1节应使用作业版本命令。

A:

配置环境

conda create -n lmdeploy  python=3.10 -y
conda activate lmdeploy
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia -y
pip install timm==1.0.8 openai==1.40.3 lmdeploy[all]==0.5.3

pip install datasets==2.19.2

获取模型环境(使用软连接)

mkdir /root/models
ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm2_5-7b-chat /root/models
ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm2_5-1_8b-chat /root/models
ln -s /root/share/new_models/OpenGVLab/InternVL2-26B /root/models

验证启动模型文件

conda activate lmdeploy
lmdeploy chat /root/models/internlm2_5-7b-chat

查看显存占用

nvidia-smi 
studio-smi 

启动 API 服务

conda activate lmdeploy
lmdeploy serve api_server \
    /root/models/internlm2_5-7b-chat \
    --model-format hf \
    --quant-policy 0 \
    --server-name 0.0.0.0 \
    --server-port 23333 \
    --tp 1

命令解释:

  1. lmdeploy serve api_server:这个命令用于启动API服务器。
  2. /root/models/internlm2_5-7b-chat:这是模型的路径。
  3. -model-format hf:这个参数指定了模型的格式。hf代表“Hugging Face”格式。
  4. -quant-policy 0:这个参数指定了量化策略。
  5. -server-name 0.0.0.0:这个参数指定了服务器的名称。在这里,0.0.0.0是一个特殊的IP地址,它表示所有网络接口。
  6. -server-port 23333:这个参数指定了服务器的端口号。在这里,23333是服务器将监听的端口号。
  7. -tp 1:这个参数表示并行数量(GPU数量)。

端口转发

 ssh -CNg -L 23333:127.0.0.1:23333 root@ssh.intern-ai.org.cn -p 你的ssh端口号

命令行启动 API

conda activate lmdeploy
lmdeploy serve api_client http://localhost:23333

以 Gradio 形式连接 API 服务器

lmdeploy serve gradio http://localhost:23333 \
    --server-name 0.0.0.0 \
    --server-port 6006

端口转发

ssh -CNg -L 6006:127.0.0.1:6006 root@ssh.intern-ai.org.cn -p <你的ssh端口号>

kv cache是一种缓存技术,通过存储键值对的形式来复用计算结果,以达到提高性能和降低内存消耗的目的。在大规模训练和推理中,kv cache可以显著减少重复计算量,从而提升模型的推理速度。理想情况下,kv cache全部存储于显存,以加快访存速度。

模型在运行时,占用的显存可大致分为三部分:模型参数本身占用的显存、kv cache占用的显存,以及中间运算结果占用的显存。LMDeploy的kv cache管理器可以通过设置--cache-max-entry-count参数,控制kv缓存占用剩余显存的最大比例。默认的比例为0.8。

调整 kv cache

lmdeploy chat /root/models/internlm2_5-7b-chat --cache-max-entry-count 0.4

让我们计算一下4GB显存的减少缘何而来,

对于修改kv cache默认占用之前,直接启动模型的显存占用情况(23GB):

1、在 BF16 精度下,7B模型权重占用14GB:70×10^9 parameters×2 Bytes/parameter=14GB

2、kv cache占用8GB:剩余显存24-14=10GB,kv cache默认占用80%,即10*0.8=8GB

3、其他项1GB

是故23GB=权重占用14GB+kv cache占用8GB+其它项1GB

对于修改kv cache占用之后的显存占用情况(19GB):

1、与上述声明一致,在 BF16 精度下,7B模型权重占用14GB

2、kv cache占用4GB:剩余显存24-14=10GB,kv cache修改为占用40%,即10*0.4=4GB

3、其他项1GB

是故19GB=权重占用14GB+kv cache占用4GB+其它项1GB

而此刻减少的4GB显存占用就是从10GB0.8-10GB0.4=4GB,这里计算得来。

kv cache int4/int8 量化

lmdeploy serve api_server \
    /root/models/internlm2_5-7b-chat \
    --model-format hf \
    --quant-policy 4 \
    --cache-max-entry-count 0.4\
    --server-name 0.0.0.0 \
    --server-port 23333 \
    --tp 1

由于都使用BF16精度下的internlm2.5 7B模型,故剩余显存均为10GB,且 cache-max-entry-count 均为0.4,这意味着LMDeploy将分配40%的剩余显存用于kv cache,即10GB*0.4=4GB。但quant-policy 设置为4时,意味着使用int4精度进行量化。因此,LMDeploy将会使用int4精度提前开辟4GB的kv cache。

相比使用BF16精度的kv cache,int4的Cache可以在相同4GB的显存下只需要4位来存储一个数值,而BF16需要16位。这意味着int4的Cache可以存储的元素数量是BF16的四倍。

W4A16 模型量化和部署

  • W4:这通常表示权重量化为4位整数(int4)。这意味着模型中的权重参数将从它们原始的浮点表示(例如FP32、BF16或FP16,Internlm2.5精度为BF16)转换为4位的整数表示。这样做可以显著减少模型的大小。
  • A16:这表示激活(或输入/输出)仍然保持在16位浮点数(例如FP16或BF16)。激活是在神经网络中传播的数据,通常在每层运算之后产生。

因此,W4A16的量化配置意味着:

  • 权重被量化为4位整数。
  • 激活保持为16位浮点数。
lmdeploy lite auto_awq \
   /root/models/internlm2_5-7b-chat \
  --calib-dataset 'ptb' \
  --calib-samples 128 \
  --calib-seqlen 2048 \
  --w-bits 4 \
  --w-group-size 128 \
  --batch-size 1 \
  --search-scale False \
  --work-dir /root/models/internlm2_5-7b-chat-w4a16-4bit
  
lmdeploy lite auto_awq \
   /root/models/internlm2_5-1_8b-chat \
  --calib-dataset 'ptb' \
  --calib-samples 128 \
  --calib-seqlen 2048 \
  --w-bits 4 \
  --w-group-size 128 \
  --batch-size 1 \
  --search-scale False \
  --work-dir /root/models/internlm2_5-1_8b-chat-w4a16-4bit

命令解释:

  1. lmdeploy lite auto_awq: lite这是LMDeploy的命令,用于启动量化过程,而auto_awq代表自动权重量化(auto-weight-quantization)。
  2. /root/models/internlm2_5-7b-chat: 模型文件的路径。
  3. -calib-dataset 'ptb': 这个参数指定了一个校准数据集,这里使用的是’ptb’(Penn Treebank,一个常用的语言模型数据集)。
  4. -calib-samples 128: 这指定了用于校准的样本数量—128个样本
  5. -calib-seqlen 2048: 这指定了校准过程中使用的序列长度—2048
  6. -w-bits 4: 这表示权重(weights)的位数将被量化为4位。
  7. -work-dir /root/models/internlm2_5-7b-chat-w4a16-4bit: 这是工作目录的路径,用于存储量化后的模型和中间结果。

查看占用

cd /root/models/
du -sh *

cd /root/share/new_models/Shanghai_AI_Laboratory/
du -sh *

查看显存占用

lmdeploy chat /root/models/internlm2_5-7b-chat-w4a16-4bit/ --model-format awq

可以发现,相比较于原先的23GB显存占用,W4A16量化后的模型少了约2GB的显存占用。

让我们计算一下2GB显存的减少缘何而来。

对于W4A16量化之前,直接启动模型的显存占用情况(23GB):

1、在 BF16 精度下,7B模型权重占用14GB:70×10^9 parameters×2 Bytes/parameter=14GB

2、kv cache占用8GB:剩余显存24-14=10GB,kv cache默认占用80%,即10*0.8=8GB

3、其他项1GB

是故23GB=权重占用14GB+kv cache占用8GB+其它项1GB

而对于W4A16量化之后的显存占用情况(20.9GB):

1、在 int4 精度下,7B模型权重占用3.5GB:14/4=3.5GB

注释:

  • bfloat16是16位的浮点数格式,占用2字节(16位)的存储空间。int4是4位的整数格式,占用0.5字节(4位)的存储空间。因此,从bfloat16到int4的转换理论上可以将模型权重的大小减少到原来的1/4,即7B个int4参数仅占用3.5GB的显存。

2、kv cache占用16.4GB:剩余显存24-3.5=20.5GB,kv cache默认占用80%,即20.5*0.8=16.4GB

3、其他项1GB

是故20.9GB=权重占用3.5GB+kv cache占用16.4GB+其它项1GB

W4A16 量化+ KV cache+KV cache 量化

lmdeploy serve api_server \
    /root/models/internlm2_5-7b-chat-w4a16-4bit/ \
    --model-format awq \
    --quant-policy 4 \
    --cache-max-entry-count 0.4\
    --server-name 0.0.0.0 \
    --server-port 23333 \
    --tp 1
    
    
lmdeploy serve api_server \
    /root/models/internlm2_5-1_8b-chat-w4a16-4bit/ \
    --model-format awq \
    --quant-policy 4 \
    --cache-max-entry-count 0.4\
    --server-name 0.0.0.0 \
    --server-port 23333 \
    --tp 1
    

让我们来计算一下此刻的显存占用情况(13.5GB):

1、在 int4 精度下,7B模型权重占用3.5GB:14/4=3.5GB

2、kv cache占用16.4GB:剩余显存24-3.5=20.5GB,kv cache占用40%,即20.5*0.4=8.2GB

3、其他项1.8GB

是故13.5GB=权重占用3.5GB+kv cache占用8.2GB+其它项1.8GB

启动命令行客户端

lmdeploy serve api_client http://localhost:23333

截图:
在这里插入图片描述
在这里插入图片描述

Q2:使用Function call功能让大模型完成一次简单的"加"与"乘"函数调用,作业截图需包括大模型回复的工具调用情况,参考4.2 Function call(选做)

A:

进入创建好的conda环境并输入指令启动API服务器

conda activate lmdeploy
lmdeploy serve api_server \
    /root/models/internlm2_5-7b-chat-w4a16-4bit \
    --model-format awq \
    --cache-max-entry-count 0.4 \
    --quant-policy 4 \
    --server-name 0.0.0.0 \
    --server-port 23333 \
    --tp 1
    
    
conda activate lmdeploy
lmdeploy serve api_server \
    /root/models/internlm2_5-1_8b-chat-w4a16-4bit \
    --model-format awq \
    --cache-max-entry-count 0.4 \
    --quant-policy 4 \
    --server-name 0.0.0.0 \
    --server-port 23333 \
    --tp 1

创建 internlm2_5.py

# internlm2_5.py

# 导入openai模块中的OpenAI类,这个类用于与OpenAI API进行交互
from openai import OpenAI

# 创建一个OpenAI的客户端实例,需要传入API密钥和API的基础URL
client = OpenAI(
    api_key='YOUR_API_KEY',  
    # 替换为你的OpenAI API密钥,由于我们使用的本地API,无需密钥,任意填写即可
    base_url="http://0.0.0.0:23333/v1"  
    # 指定API的基础URL,这里使用了本地地址和端口
)

# 调用client.models.list()方法获取所有可用的模型,并选择第一个模型的ID
# models.list()返回一个模型列表,每个模型都有一个id属性
model_name = client.models.list().data[0].id

# 使用client.chat.completions.create()方法创建一个聊天补全请求
# 这个方法需要传入多个参数来指定请求的细节
response = client.chat.completions.create(
  model=model_name,  
  # 指定要使用的模型ID
  messages=[  
  # 定义消息列表,列表中的每个字典代表一个消息
    {"role": "system", "content": "你是一个友好的小助手,负责解决问题."},  
    # 系统消息,定义助手的行为
    {"role": "user", "content": "帮我讲述一个关于狐狸和西瓜的小故事"},  
    # 用户消息,询问时间管理的建议
  ],
    temperature=0.8,  
    # 控制生成文本的随机性,值越高生成的文本越随机
    top_p=0.8  
    # 控制生成文本的多样性,值越高生成的文本越多样
)

# 打印出API的响应结果
print(response.choices[0].message.content)
conda activate lmdeploy
python /root/internlm2_5.py

Function call

关于Function call,即函数调用功能,它允许开发者在调用模型时,详细说明函数的作用,并使模型能够智能地根据用户的提问来输入参数并执行函数。完成调用后,模型会将函数的输出结果作为回答用户问题的依据。

conda activate lmdeploy
lmdeploy serve api_server \
    /root/models/internlm2_5-7b-chat \
    --model-format hf \
    --quant-policy 0 \
    --server-name 0.0.0.0 \
    --server-port 23333 \
    --tp 1
touch /root/internlm2_5_func.py
from openai import OpenAI

def add(a: int, b: int):
    return a + b

def mul(a: int, b: int):
    return a * b

tools = [{
    'type': 'function',
    'function': {
        'name': 'add',
        'description': 'Compute the sum of two numbers',
        'parameters': {
            'type': 'object',
            'properties': {
                'a': {
                    'type': 'int',
                    'description': 'A number',
                },
                'b': {
                    'type': 'int',
                    'description': 'A number',
                },
            },
            'required': ['a', 'b'],
        },
    }
}, {
    'type': 'function',
    'function': {
        'name': 'mul',
        'description': 'Calculate the product of two numbers',
        'parameters': {
            'type': 'object',
            'properties': {
                'a': {
                    'type': 'int',
                    'description': 'A number',
                },
                'b': {
                    'type': 'int',
                    'description': 'A number',
                },
            },
            'required': ['a', 'b'],
        },
    }
}]
messages = [{'role': 'user', 'content': 'Compute (3+5)*2'}]

client = OpenAI(api_key='YOUR_API_KEY', base_url='http://0.0.0.0:23333/v1')
model_name = client.models.list().data[0].id
response = client.chat.completions.create(
    model=model_name,
    messages=messages,
    temperature=0.8,
    top_p=0.8,
    stream=False,
    tools=tools)
print(response)
func1_name = response.choices[0].message.tool_calls[0].function.name
func1_args = response.choices[0].message.tool_calls[0].function.arguments
func1_out = eval(f'{func1_name}(**{func1_args})')
print(func1_out)

messages.append({
    'role': 'assistant',
    'content': response.choices[0].message.content
})
messages.append({
    'role': 'environment',
    'content': f'3+5={func1_out}',
    'name': 'plugin'
})
response = client.chat.completions.create(
    model=model_name,
    messages=messages,
    temperature=0.8,
    top_p=0.8,
    stream=False,
    tools=tools)
print(response)
func2_name = response.choices[0].message.tool_calls[0].function.name
func2_args = response.choices[0].message.tool_calls[0].function.arguments
func2_out = eval(f'{func2_name}(**{func2_args})')
print(func2_out)

截图:

若使用 10% 和 30% 的机器,会直接回复答案,不会使用Function call。

以下是使用 50% 的机器

在这里插入图片描述

chrome-headless-shell-win64-157.0.8103.38(Stable).zip Chrome for Testing 官方指定版本的 Chrome 浏览器、ChromeDriver 与 Headless Shell 压缩包,适用于 Selenium、Playwright 等自动化测试环境搭建,覆盖 Windows、macOS、Linux 多平台,解压即可使用,无需额外安装或配置。 立即下载

相关推荐

chrome-win32-159.0.8150.0(Canary).zip

内容概要:Chrome for Testing 官方 chrome 159.0.8150.0 win32 平台(金丝雀版通道),原版未修改,附来源说明。 适合人群:Windows 32 位 上的自动化测试工程师、爬虫开发者、CI 环境搭建者。 使用场景及目标:①Chrome for Testing 官方浏览器本体,供自动化测试使用;②与同版本 chromedriver 配套;③CI/容器环境的浏览器运行时。 其他说明:Chrome for Testing 为 Google 官方发布、允许自由分发的文件;本资源为第三方整理的下载便利服务。

TVJ1120资源及合并指令

内容概要:本文提供了TVJ1120.apk拆分文件的下载链接及合并方法,包含两个分卷文件(part1和part2)的CSDN下载地址,并给出在Windows系统下使用copy命令将两个分卷合并为完整APK文件的具体指令。同时提供使用certutil工具对合并后的TVJ1120.apk进行SHA256哈希值校验的命令,以确保文件完整性与安全性。; 适合人群:具备基本计算机操作能力,熟悉命令行工具使用的开发者或技术人员;需要下载并验证安卓应用文件完整性的用户。; 使用场景及目标:①用于从分卷压缩或拆分的APK文件中恢复完整的安装包;②通过哈希校验确保下载的APK文件未被篡改或损坏,保障应用安全性和可用性;③适用于软件分发、移动应用测试、逆向分析等技术场景。; 阅读建议:在操作前确认已下载全部分卷文件,并在相同目录下执行合并命令;建议严格比对生成的SHA256值与官方提供的校验值,防止运行不安全的应用程序。

chromedriver-win32-160.0.8164.0(Canary).zip

chromedriver-win32-160.0.8164.0(Canary).zip

【M波段2D双树(希尔伯特)小波多分量图像去噪】基于定向M波段双树(希尔伯特)小波对多分量彩色图像进行降噪研究(Matlab代码实现)

内容概要:本文系统研究了基于定向M波段双树(希尔伯特)小波的多分量彩色图像去噪方法,通过引入M波段双树结构的小波变换,增强了传统小波在方向选择性和冗余性方面的表现,有效克服了图像去噪中边缘模糊与纹理丢失的问题。该方法充分利用小波变换的多分辨率分析能力,结合阈值处理策略,在去除高斯噪声、椒盐噪声等多种噪声的同时,显著保留了图像的细节特征与色彩信息。文章详细阐述了算法的数学原理、实现步骤及关键参数设计,并提供了完整的Matlab代码实现,便于读者复现与进一步优化。 适合人群:具备数字图像处理基础知识,熟悉Matlab编程语言,从事图像去噪、计算机视觉、遥感图像处理或医学影像分析等相关领域的研究生、科研人员及工程技术人员。 使用场景及目标:①应用于彩色图像、遥感影像、医学图像等多通道图像的高质量去噪处理;②服务于后续高级视觉任务(如目标检测、图像分割)前的预处理环节,提升整体系统性能;③为需要高保真图像恢复的应用场景提供技术支持。 阅读建议:建议读者结合提供的Matlab代码逐模块理解算法实现流程,重点关注小波分解与重构、方向滤波器组设计、阈值选择与收缩策略等核心环节,同时可通过调整噪声类型与参数设置进行对比实验,深入掌握算法性能边界与优化方向。

chrome-headless-shell-mac-x64-160.0.8164.0(Canary).zip

内容概要:Chrome for Testing 官方 chrome-headless-shell 160.0.8164.0 mac-x64 平台(金丝雀版通道),原版未修改,附来源说明。 适合人群:macOS Intel 上的自动化测试工程师、爬虫开发者、CI 环境搭建者。 使用场景及目标:①无头浏览器内核(Playwright/Puppeteer/Selenium 无界面自动化与爬虫);②服务器/容器离线内置;③版本精准匹配(chromedriver 与 Chrome 需同大版本)。 其他说明:Chrome for Testing 为 Google 官方发布、允许自由分发的文件;本资源为第三方整理的下载便利服务。

chrome-mac-arm64-159.0.8154.2(Canary).zip

内容概要:Chrome for Testing 官方 chrome 159.0.8154.2 mac-arm64 平台(金丝雀版通道),原版未修改,附来源说明。 适合人群:macOS Apple Silicon 上的自动化测试工程师、爬虫开发者、CI 环境搭建者。 使用场景及目标:①Chrome for Testing 官方浏览器本体,供自动化测试使用;②与同版本 chromedriver 配套;③CI/容器环境的浏览器运行时。 其他说明:Chrome for Testing 为 Google 官方发布、允许自由分发的文件;本资源为第三方整理的下载便利服务。

华为智简园区医疗物联网解决方案.pptx

华为智简园区医疗物联网解决方案.pptx

化工MES-石化盈科信息技术有限责任公司.pptx

化工MES-石化盈科信息技术有限责任公司.pptx

极简架构MES系统解决方案介绍.pptx

极简架构MES系统解决方案介绍.pptx

健康管理服务运营方案.pptx

健康管理服务运营方案.pptx

钢铁行业工业互联网安全解决方案.pptx

钢铁行业工业互联网安全解决方案.pptx

轨道交通云平台解决方案.pptx

轨道交通云平台解决方案.pptx

集团S&OP供应链计划管理蓝图规划方案(供应链二).pptx

集团S&OP供应链计划管理蓝图规划方案(供应链二).pptx

工业互联网助力企业数字化转型方案.pptx

工业互联网助力企业数字化转型方案.pptx

互联网 医联体信息化建设和实施解决方案.pptx

互联网 医联体信息化建设和实施解决方案.pptx

集团企业采购职能管控模式规划方法论采购职能管控方案、采购职能管理模式、组织与职责设计.pptx

集团企业采购职能管控模式规划方法论采购职能管控方案、采购职能管理模式、组织与职责设计.pptx

京城第少本地生活信息平台源码:电脑站+手机站+后台+App+小程序

一套可直接二次开发的本地生活/分类信息平台源码,包含电脑站、手机站、后台管理、安卓 WebView App 和微信小程序。支持信息发布审核、商家入驻、会员/VIP、商品与团购、订单支付、社群、直播入口、图片视频上传和多端同步。后端使用 Node.js + JSON 文件库,前端为原生 HTML/CSS/JS,附带 Cloudflare Worker 代理配置与部署说明。适合学习全栈项目、做本地生活平台原型或私有部署。源码包不含生产数据库、支付密钥和上传媒体文件。

思科路由器重分发(静态路由+OSPF动态路由+RIP动态路由)

思科路由器重分发(静态路由+OSPF动态路由+RIP动态路由)

2301_81256766的博客 1272
上一篇: IternLM-4-进阶岛-L2G4000-InternVL 多模态模型部署微调实践
下一篇: IternLM-4-进阶岛-L2G2000-Lagent 自定义你的 Agent 智能体
warrentak
博客等级 码龄17年 99粉丝 13原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址