L2G3000 LMDeploy 量化部署进阶实践

【InternLM】LMDeploy量化部署 配置conda环境安装Imdeploy环境下载预训练模型,查看模型,开发机上下载模型使用Transformer库运行模型使用LMDeploy运行模型来调整--cache-max-entry-count参数的效果,显存占用减小。 阅读详情

本地部署

环境安装

conda create -n lmdeploy  python=3.10 -y
conda activate lmdeploy
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia -y
pip install timm==1.0.8 openai==1.40.3 lmdeploy[all]==0.5.3

获取模型

mkdir /root/models
ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm2_5-7b-chat /root/models
ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm2_5-1_8b-chat /root/models
ln -s /root/share/new_models/OpenGVLab/InternVL2-26B /root/models

验证启动模型文件

lmdeploy chat /root/models/internlm2_5-7b-chat

在这里插入图片描述

API部署

lmdeploy serve api_server \
    /root/models/internlm2_5-7b-chat \
    --model-format hf \
    --quant-policy 0 \
    --server-name 0.0.0.0 \
    --server-port 23333 \
    --tp 1

参数解释
lmdeploy serve api_server:这个命令用于启动API服务器。
/root/models/internlm2_5-7b-chat:这是模型的路径。
–model-format hf:这个参数指定了模型的格式。hf代表“Hugging Face”格式。
–quant-policy 0:这个参数指定了量化策略。
–server-name 0.0.0.0:这个参数指定了服务器的名称。在这里,0.0.0.0是一个特殊的IP地址,它表示所有网络接口。
–server-port 23333:这个参数指定了服务器的端口号。在这里,23333是服务器将监听的端口号。
–tp 1:这个参数表示并行数量(GPU数量)。

在这里插入图片描述
在这里插入图片描述
使用api连接

lmdeploy serve api_client http://localhost:23333

在这里插入图片描述
使用gradio方式连接

lmdeploy serve gradio http://localhost:23333 \
    --server-name 0.0.0.0 \
    --server-port 6006

在这里插入图片描述

LMDeploy Lite

量化前

lmdeploy chat /root/models/internlm2_5-7b-chat

在这里插入图片描述
量化后

lmdeploy chat /root/models/internlm2_5-7b-chat --cache-max-entry-count 0.4

在这里插入图片描述
设置在线 kv cache int4/int8 量化

lmdeploy serve api_server \
    /root/models/internlm2_5-7b-chat \
    --model-format hf \
    --quant-policy 4 \
    --cache-max-entry-count 0.4\
    --server-name 0.0.0.0 \
    --server-port 23333 \
    --tp 1

在这里插入图片描述
在这里插入图片描述

W4A16 模型量化和部署

lmdeploy lite auto_awq \
   /root/models/internlm2_5-1_8b-chat \
  --calib-dataset 'ptb' \
  --calib-samples 128 \
  --calib-seqlen 2048 \
  --w-bits 4 \
  --w-group-size 128 \
  --batch-size 1 \
  --search-scale False \
  --work-dir /root/models/internlm2_5-1_8b-chat-w4a16-4bit

命令解释:

lmdeploy lite auto_awq: lite这是LMDeploy的命令,用于启动量化过程,而auto_awq代表自动权重量化(auto-weight-quantization)。
/root/models/internlm2_5-7b-chat: 模型文件的路径。
–calib-dataset ‘ptb’: 这个参数指定了一个校准数据集,这里使用的是’ptb’(Penn Treebank,一个常用的语言模型数据集)。
–calib-samples 128: 这指定了用于校准的样本数量—128个样本
–calib-seqlen 2048: 这指定了校准过程中使用的序列长度—2048
–w-bits 4: 这表示权重(weights)的位数将被量化为4位。
–work-dir /root/models/internlm2_5-7b-chat-w4a16-4bit: 这是工作目录的路径,用于存储量化后的模型和中间结果。
在这里插入图片描述
使用量化后的模型

lmdeploy chat /root/models/internlm2_5-1_8b-chat-w4a16-4bit/ --model-format awq

在这里插入图片描述
在这里插入图片描述

W4A16 量化+ KV cache+KV cache 量化

lmdeploy serve api_server \
    /root/models/internlm2_5-1_8b-chat-w4a16-4bit/ \
    --model-format awq \
    --quant-policy 4 \
    --cache-max-entry-count 0.4\
    --server-name 0.0.0.0 \
    --server-port 23333 \
    --tp 1

在这里插入图片描述

在这里插入图片描述

lmdeploy serve api_client http://localhost:23333

在这里插入图片描述

Function Call

启动模型
在这里插入图片描述
代码

from openai import OpenAI


def add(a: int, b: int):
    return a + b


def mul(a: int, b: int):
    return a * b


tools = [{
    'type': 'function',
    'function': {
        'name': 'add',
        'description': 'Compute the sum of two numbers',
        'parameters': {
            'type': 'object',
            'properties': {
                'a': {
                    'type': 'int',
                    'description': 'A number',
                },
                'b': {
                    'type': 'int',
                    'description': 'A number',
                },
            },
            'required': ['a', 'b'],
        },
    }
}, {
    'type': 'function',
    'function': {
        'name': 'mul',
        'description': 'Calculate the product of two numbers',
        'parameters': {
            'type': 'object',
            'properties': {
                'a': {
                    'type': 'int',
                    'description': 'A number',
                },
                'b': {
                    'type': 'int',
                    'description': 'A number',
                },
            },
            'required': ['a', 'b'],
        },
    }
}]
messages = [{'role': 'user', 'content': 'Compute (3+5)*2'}]

client = OpenAI(api_key='YOUR_API_KEY', base_url='http://0.0.0.0:23333/v1')
model_name = client.models.list().data[0].id
response = client.chat.completions.create(
    model=model_name,
    messages=messages,
    temperature=0.8,
    top_p=0.8,
    stream=False,
    tools=tools)
print(response)
func1_name = response.choices[0].message.tool_calls[0].function.name
func1_args = response.choices[0].message.tool_calls[0].function.arguments
func1_out = eval(f'{func1_name}(**{func1_args})')
print(func1_out)

messages.append({
    'role': 'assistant',
    'content': response.choices[0].message.content
})
messages.append({
    'role': 'environment',
    'content': f'3+5={func1_out}',
    'name': 'plugin'
})
response = client.chat.completions.create(
    model=model_name,
    messages=messages,
    temperature=0.8,
    top_p=0.8,
    stream=False,
    tools=tools)
print(response)
func2_name = response.choices[0].message.tool_calls[0].function.name
func2_args = response.choices[0].message.tool_calls[0].function.arguments
func2_out = eval(f'{func2_name}(**{func2_args})')
print(func2_out)

执行结果:
在这里插入图片描述

书生大模型学习笔记9 - LMDeploy 量化部署 lmdeploy lite auto_awq: lite这是LMDeploy的命令,用于启动量化过程,而auto_awq代表自动权重量化(auto-weight-quantization)。/root/learning/InternLM/XTuner/merged_20b-w4a16-4bit: 这是工作目录的路径,用于存储量化后的模型和中间结果。–calib-dataset ‘ptb’: 这个参数指定了一个校准数据集,这里使用的是’ptb’(Penn Treebank,一个常用的语言模型数据集)。 阅读详情

相关推荐

《书生·浦语大模型全链路开源开放体系》第五课作业 LMDeploy 的量化和部署

但 PyTorch 和 DeepSpeed 调用的其实都是 Huggingface 的 Transformers 包,PyTorch表示原生的 Transformer 包,DeepSpeed 表示使用了 DeepSpeed 作为推理框架。每一份参数第一个 0 表示“层”的索引,后面的那个0表示 Tensor 并行的索引,因为我们只有一张卡,所以被拆分成 1 份。首先说 “模型推理/服务”,推荐使用 TurboMind,使用简单,性能良好,相关的 Benchmark 对比如下。

m0_65719612的博客 1123

书生·浦语大模型实战营Day05LMDeploy服务

将大模型封装为API接口服务,供客户端访问

个人小站:www.xiaowangyun.com 1563

系统安装、qt配置、安装pcie驱动

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 安装Linux系统指定:ununtu20.04并配置相关软件环境 前言 提示:这里可以添加本文要记录的大概内容: ununtu20.04、Qt 5.9.0、pcie驱动 提示:以下是本篇文章正文内容,下面案例可供参考 一、安装系统 制作系统盘(win10),在开机时按相应键进入BIOS,(华硕需要先改配置启动->CSM->开启->第一个选项选第一个或第二个),等待即可 进入后按照https://www.sysgeek.

weixin_44832804的博客 2210

LMDeploy 的量化和部署

LMDeploy 是 LLM 在英伟达设备上部署的全流程解决方案。包括模型轻量化、推理和服务。推理性能静态推理性能・固定 batch 输入/输出token数量动态推理性能•真实对话,不定长的输入/输出核心功能-量化为什么做 Weight Only 的量化?两个基本概念计算密集(compute-bound):推理的绝大部分时间消耗在数值计算上;针对计算密集场景,可以通过使用更快的硬件计算单元来提升计算速度,比如量化为 W8A8使用INT8 Tensor Core来加速计算。

Y2483490891的博客 1675

避开ANSYS SOLID65钢筋模拟的坑:从材料TB到实常数R的完整配置清单

本文详细解析了ANSYS SOLID65单元在钢筋混凝土模拟中的关键配置与优化技巧,涵盖材料TB设置、实常数R配置及收敛性优化。特别针对钢筋建模的分布式钢筋模型进行深度解析,提供实战验证的参数设置手册,帮助工程师避免常见错误,提升模拟精度与效率。

weixin_30898555的博客 368

谷歌倾斜摄影数据获取以及转换3DTiles介绍

解析谷歌倾斜模型数据,再一键设置无人值守的情况下,快速将谷歌倾斜摄影模型数据转成3DTiles数据,并在Cesium上进行流畅漫游缩放显示,效果优于官方3DTiiles格式数据

cyber_room的博客 5340

书生大模型实战营L2G3000 - LMDeploy 量化部署进阶实践

创建开发机,选择镜像。我们要运行参数量为7B的InternLM2.5,由查询InternLM2.5-7b-chat的config.json文件可知,bfloat16所以我们需要大于14GB的显存,选择(24GB显存容量),后选择,等状态栏变成运行中,点击,我们即可开始部署。在终端中,让我们输入以下指令,来创建一个名为lmdeploy的conda环境,python版本为3.10,创建成功后激活环境并安装0.5.3版本的lmdeploy及相关包。

Ameliorating的博客 788

海康视觉通讯配置

本文介绍了海康通讯管理中TCP和Modbus协议的配置方法。TCP通讯时,视觉系统作为服务器接收PLC客户端发送的触发信号,需注意十进制与十六进制字符串的转换。Modbus配置需填写PLC的IP地址和寄存器首地址,并预先定义整型变量。TCP通讯需开启16进制发送模式以避免数据格式问题。文章重点说明了不同通讯方式下的数据格式转换和参数设置要点。

A567852的博客 2252

书生大模型实战营第四期L2G3000(LMDeploy 量化部署进阶实践)

1、首先根据要求选择镜像和硬件配置,创建开发机。显存估算:我们要运行参数量为7B的InternLM2.5,由查询InternLM2.5-7b-chat的config.json文件可知,bfloat16所以我们需要大于14GB的显存,选择(24GB显存容量),后选择,等状态栏变成运行中,点击,我们即可开始部署。2、然后创建conda环境,安装相关包。3、验证模型文件是否可用。运行命令,启动CLI对话界面此时资源占用情况如下:如果选择。

stinkypudding的博客 1301

如何将COMSOL与MATLAB联合【超详细,一网打尽】

如何将COMSOL与MATLAB联合 文章目录如何将COMSOL与MATLAB联合前言一、背景二、使用步骤1. 找到 COMSOL Multiphysics 5.5 with MATLAB2. **双击COMSOL Multiphysics 5.5 with MATLAB** 前言 网上搜索教程,发现大部分教程讲得比较初略,或者信息比较分散。本着自己踩过坑就不愿意让别人再踩一遍的原则,写下这篇博文。 提示:以下是本篇文章正文内容,下面案例可供参考 一、背景 COMSOL 5.5 MATLAB 20

fendiman的博客 7万+

LVGL 组件对齐方式说明

本文说明 LVGL(以 v8 为例)中常用的 lv_align_t对齐选项的含义与用法,对应界面设计工具里下拉列表中的以及等命名。

摸鱼专家 136

L2G3000——LMDeploy 量化部署进阶实践

是一个专门用于创建文件夹并设置开发机共享目录的软链接。

taoismimortal的博客 901

2026.2.11:ollama api推理GLM-OCR模型识别图片

本文介绍了使用Ollama API调用GLM-OCR模型进行图片文字识别的过程。首先通过ollama pull glm-ocr:latest命令拉取模型,然后使用Python脚本调用API接口。代码示例展示了如何发送包含图片路径的请求,并处理返回的识别结果,支持文本、公式和表格三种识别模式。运行结果展示了模型对输入图片的识别效果,为开发者提供了便捷的OCR解决方案。

拥抱具身智能,昇腾Ascend C 372

书生大模型L2G3000LMDeploy 量化部署进阶实践

打开,进入如下界面并按箭头指示顺序点击。点选开发机,自拟一个开发机名称,选择镜像。我们要运行参数量为7B的InternLM2.5,由查询InternLM2.5-7b-chat的config.json文件可知,bfloat16所以我们需要大于14GB的显存,选择(24GB显存容量),后选择,等状态栏变成运行中,点击,我们即可开始部署。在终端中,让我们输入以下指令,来创建一个名为lmdeploy的conda环境,python版本为3.10,创建成功后激活环境并安装0.5.3版本的lmdeploy及相关包。

Sean_505的博客 1892

智联招聘Python岗位数据采集:基于API请求的校园招聘信息爬取实战

本项目开发了一个智联招聘Python岗位校园招聘数据采集系统,采用requests库直接调用API接口获取结构化数据。系统通过分析API接口结构,配置完整的请求头、Cookie和身份验证参数,实现了10页数据的批量采集。采集内容包括工作名称、薪资范围、企业信息等10个关键字段,并存储为Excel格式。项目严格遵守网络爬虫规范,合理控制请求频率,数据仅用于技术学习和就业分析。技术实现涉及API逆向工程、JSON数据处理、防御性编程等核心技能,为学生职业规划和教育机构教学改革提供数据支持。

那些看似不起波澜的日复一日,会在某天让你看到坚持的意义 633

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

L2G3000作业-LMDeploy 量化部署进阶实践

书生浦语训练营

m0_73878994的博客 1056

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

L2G3000: LMDeploy 量化部署进阶实践

使用结合W4A16量化与kv cache量化的internlm2_5-1_8b-chat模型封装本地API并与大模型进行一次对话,作业截图需包括显存占用情况与大模型回复,参考4.1 API开发,请注意2.2.3节与4.1节应使用作业版本命令。关于Function call,即函数调用功能,它允许开发者在调用模型时,详细说明函数的作用,并使模型能够智能地根据用户的提问来输入参数并执行函数。我们通过2.1 LMDeploy API部署InternLM2.5的实践为例,输入以下指令,启动API服务器。

weixin_43125088的博客 536

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

第3关 L2G3000 LMDeploy 量化部署进阶实践

大模型只做transformer的decode,核心算子是attention,再attention中,我们对输入x首先要做3个线性变换变成qkv,其中qk做内积计算得分,v做注意力汇聚,输入阶段可以理解为对大模型输入问题的阶段,问题是一个序列x,包含多个token,这些token是一次性输入给大模型的,我们再计算时会一次性拿到所有的qkv,这个阶段称为预填充阶段,新的迭代只输入新的 Qx_ 与历史的k和v进行计算注意力分数,将每轮迭代的KV都进行缓存,可以供下次迭代使用。

weixin_44780490的博客 920

书生大模型实战营 L2G3000 LMDeploy量化部署进阶实践

获取模型。

qq_42803347的博客 1504

进阶岛-第3关-L2G3000-LMDeploy 量化部署进阶实践

要运行参数量为7B的InternLM2.5,由查询InternLM2.5-7b-chat的config.json文件可知,bfloat16所以我们需要大于14GB的显存,选择(24GB显存容量),后选择,等状态栏变成运行中,点击,我们即可开始部署。在终端中,让我们输入以下指令,来创建一个名为lmdeploy的conda环境,python版本为3.10,创建成功后激活环境并安装0.5.3版本的lmdeploy及相关包。【我还使用之前的lagent虚拟环境,不想创新的了】

m0_52460096的博客 1230

大模型学习——L2G3000Lagent LMDeploy 量化部署进阶实践

运行对应的结果:python /root/internlm2_5_func.py。建立对应文件夹:touch /root/internlm2_5_func.py。运行如下命令,激活conda环境并启动命令行客户端。发现此时显存占了80%

weixin_43808729的博客 769

IternLM-4-进阶岛-L2G3000-LMDeploy 量化部署进阶实践

关于Function call,即函数调用功能,它允许开发者在调用模型时,详细说明函数的作用,并使模型能够智能地根据用户的提问来输入参数并执行函数。模型在运行时,占用的显存可大致分为三部分:模型参数本身占用的显存、kv cache占用的显存,以及中间运算结果占用的显存。2、kv cache占用16.4GB:剩余显存24-3.5=20.5GB,kv cache占用40%,即20.5*0.4=8.2GB。相比使用BF16精度的kv cache,int4的Cache可以在相同。

极客九日的专栏 1242

进阶岛 第3关 L2G3000 LMDeploy 量化部署进阶实践

LMdeploy部署

tianxingzhe的博客 222

(笔记+作业)书生大模型实战营春节卷王班---L2G3000 LMDeploy 量化部署进阶实践

(笔记+作业)书生大模型实战营春节卷王班---L2G3000 LMDeploy 量化部署进阶实践

haidizym的博客 913

【阿尼亚探索大模型】书生大模型实战营-进阶岛第3关(L2G3000)LMDeploy 量化部署进阶实践

启动对应虚拟环境,并安装所需依赖包,完成环境配置。依然选择30%A100开发机进行实验。使用conda创建虚拟环境。

qq_45943172的博客 413

L2G3000书生大模型实战营第4期——3.3 LMDeploy 量化部署实践

使用结合W4A16量化与kv cache量化的internlm2_5-1_8b-chat模型封装本地API并与大模型进行一次对话;使用Function call功能让大模型完成一次简单的"加"与"乘"函数调用。

wuzipl的博客 1295
上一篇: L1G6000 OpenCompass 评测
小新的猿生
博客等级 码龄8年 53粉丝 12原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址