(笔记+作业)第五期书生大模型实战营---L1G3000 LMDeploy 高效部署量化实践(作废)

别再只用线性回归了!用sklearn的核岭回归搞定非线性数据(附RBF核调参实战) 本文详细介绍了如何使用sklearn的核岭回归处理非线性数据,特别是RBF核的应用与调参实战。通过网格搜索找到最佳参数组合,核岭回归能有效捕捉数据中的复杂波动,显著提升模型性能。适合需要解决非线性问题的数据科学家和机器学习工程师。 阅读详情

学员闯关手册:https://aicarrier.feishu.cn/wiki/QdhEwaIINietCak3Y1dcdbLJn3e
课程视频:https://www.bilibili.com/video/BV13U1VYmEUr/
课程文档:https://github.com/InternLM/Tutorial/tree/camp4/docs/L0/Python
关卡作业:https://github.com/InternLM/Tutorial/blob/camp4/docs/L0/Python/task.md
开发机平台:https://studio.intern-ai.org.cn/
开发机平台介绍:https://aicarrier.feishu.cn/wiki/GQ1Qwxb3UiQuewk8BVLcuyiEnHe
书生浦语官网:https://internlm.intern-ai.org.cn/
github网站:https://github.com/internLM/
InternThinker: https://internlm-chat.intern-ai.org.cn/internthinker
快速上手飞书文档:https://www.feishu.cn/hc/zh-CN/articles/945900971706-%E5%BF%AB%E9%80%9F%E4%B8%8A%E6%89%8B%E6%96%87%E6%A1%A3
提交作业:https://aicarrier.feishu.cn/share/base/form/shrcnUqshYPt7MdtYRTRpkiOFJd;
作业批改结果:https://aicarrier.feishu.cn/share/base/query/shrcnkNtOS9gPPnC9skiBLlao2c
internLM-Chat 智能体:https://github.com/InternLM/InternLM/blob/main/agent/README_zh-CN.md
lagent:https://lagent.readthedocs.io/zh-cn/latest/tutorials/action.html#id2

在这里插入图片描述

LMDeploy 是一个高效且友好的 LLMs 模型部署工具箱,功能涵盖了量化、推理和服务

#1、环境安装
conda create -n lmdeploy python=3.8 -y
conda activate lmdeploy
pip install lmdeploy
#如果发生错误/版本冲突,可指定版本安装(下三行)
export LMDEPLOY_VERSION=0.7.2.post1
export PYTHON_VERSION=38
pip install https://github.com/InternLM/lmdeploy/releases/download/v${LMDEPLOY_VERSION}/lmdeploy-${LMDEPLOY_VERSION}+cu118-cp${PYTHON_VERSION}-cp${PYTHON_VERSION}-manylinux2014_x86_64.whl --extra-index-url https://download.pytorch.org/whl/cu118
#源码安装
git clone https://github.com/InternLM/lmdeploy.git
cd lmdeploy
pip install -e .
#从HF获取模型和acess token,https://huggingface.co,
export HF_TOKEN="your_copied_token_here" # 替换为你的 token

#2.1、本地推理bendituili.py
touch bendituili.py
python bendituili.py
#2.2、指定推理引擎
touch TurbomindEngineConfig.py
python TurbomindEngineConfig.py
#2.3、 VLM 推理(Visual Language Models)
touch VLM.py
#2.4、离线部署lixian.py
touch lixian.py
#2.5、 部署类OpenAI 服务-- 使用 lmdeploy cli 工具
lmdeploy serve api_server internlm/InternVL2-1B --server-port 23333
#2.6、 部署类OpenAI 服务-- - 使用类openai方式
touch none_api.py
#2.7、使用WebUI
# 启动server
# ApiServer+Turbomind   api_server => AsyncEngine => TurboMind
lmdeploy serve api_server InternVL2-1B --server-name 0.0.0.0 --server-port 23333 --tp 1
# Gradio+ApiServer。必须先开启 Server,此时 Gradio 为 Client
lmdeploy serve gradio http://0.0.0.0:23333 --server-name 0.0.0.0 --server-port 6006
#2.8、部署Huggingface   Demo
# app.py

#3、视觉-语言模型(VLMs)部署
#3.1、lixian_VLM.py
touch lixian_VLM.py
#3.2、token_VLM.py
touch token.py
IMAGE_TOKEN = '<IMAGE_TOKEN>'
#3.3、自定义对话self_lag_VLM.py
touch self_lag.py
#3.4、多图推理duotu_VLM.py
#3.5、多轮对话mlt_VLM.py
#2.1、bendituili.py
import lmdeploy
pipe = lmdeploy.pipeline("OpenGVLab/InternVL2_5-1B")
response = pipe(prompts=["Hi, pls intro yourself", "Shanghai is"],
                gen_config=GenerationConfig(max_new_tokens=1024,
                                            top_p=0.8,
                                            top_k=40,
                                            temperature=0.6))
print(response)

实践过程中报错了3次,1个错误是没有HF的token无法读模型,另外1个错误是HF上没有教程中的模型internlm/InternVL2-1B,搜索改为了模型OpenGVLab/InternVL2_5-1B,第3个错误是没有 GenerationConfig模块引出没有_turbomind模块,最终这个代码无法运行

2、模型部署

### 2.2、TurbomindEngineConfig推理引擎TurbomindEngineConfig.py

from lmdeploy import pipeline, TurbomindEngineConfig
pipe = pipeline('OpenGVLab/InternVL2_5-1B',
                backend_config=TurbomindEngineConfig(
                    max_batch_size=32,
                    enable_prefix_caching=True,
                    cache_max_entry_count=0.8,
                    session_len=8192,
                ))
### PytorchEngineConfig推理引擎


from lmdeploy import pipeline, PytorchEngineConfig
pipe = pipeline('internlm/InternVL2-1B',
                backend_config=PytorchEngineConfig(
                    max_batch_size=32,
                    enable_prefix_caching=True,
                    cache_max_entry_count=0.8,
                    session_len=8192,
                ))
#2.3、VLM.py
from lmdeploy import pipeline, VisionConfig
from lmdeploy.vl import load_image

pipe = pipeline('OpenGVLab/InternVL2-1B',
                vision_config=VisionConfig(
                    max_batch_size=8
                ))

image = load_image('https://raw.githubusercontent.com/open-mmlab/mmdeploy/main/tests/data/tiger.jpeg')
response = pipe(('describe this image', image))
print(response)
#2.4、lixian.py
import lmdeploy
from lmdeploy import GenerationConfig
pipe = lmdeploy.pipeline("internlm/InternVL2-1B")
response = pipe(prompts=["Hi, pls intro yourself", "Shanghai is"],
                gen_config=GenerationConfig(max_new_tokens=1024,
                                            top_p=0.8,
                                            top_k=40,
                                            temperature=0.6))
print(response)
#2.6、none_api.py
from openai import OpenAI
client = OpenAI(
    api_key='none',# 若未启用鉴权,可填任意值(如 "none")
    base_url="http://0.0.0.0:23333/v1"
)
model_name = client.models.list().data[0].id
response = client.chat.completions.create(
  model=model_name,
  messages=[
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": " provide three suggestions about time management"},
  ],
    temperature=0.8,
    top_p=0.8
)
print(response)
#2.8、app.py
from lmdeploy.serve.gradio.turbomind_coupled import run_local
from lmdeploy.messages import TurbomindEngineConfig

backend_config = TurbomindEngineConfig(max_batch_size=8)
model_path = 'InternVL2-1B'
run_local(model_path, backend_config=backend_config, server_name="huggingface-space")

3、视觉模型VLM模型部署

#3.1、lixian_VLM.py
from lmdeploy import pipeline
from lmdeploy.vl import load_image

pipe = pipeline('InternVL2-1B')

image = load_image('https://raw.githubusercontent.com/open-mmlab/mmdeploy/main/tests/data/tiger.jpeg')

response = pipe(('describe this image', image))

print(response)
#3.2、token_VLM.py
from lmdeploy import pipeline
from lmdeploy.vl import load_image
from lmdeploy.vl.constants import IMAGE_TOKEN

pipe = pipeline('InternVL2-1B')

image = load_image('tiger.jpeg')
response = pipe((f'describe this image{IMAGE_TOKEN}', image))
print(response)
#3.3、自定义对话self_lag_VLM.py
from lmdeploy.model import MODELS, BaseChatTemplate


@MODELS.register_module(name='customized_model')
class CustomizedModel(BaseChatTemplate):
    """A customized chat template."""

    def __init__(self,
                 system='<|im_start|>system\n',
                 meta_instruction='You are a robot developed by LMDeploy.',
                 user='<|im_start|>user\n',
                 assistant='<|im_start|>assistant\n',
                 eosys='<|im_end|>\n',
                 eoh='<|im_end|>\n',
                 eoa='<|im_end|>',
                 separator='\n',
                 stop_words=['<|im_end|>', '<|action_end|>']):
        super().__init__(system=system,
                         meta_instruction=meta_instruction,
                         eosys=eosys,
                         user=user,
                         eoh=eoh,
                         assistant=assistant,
                         eoa=eoa,
                         separator=separator,
                         stop_words=stop_words)


from lmdeploy import ChatTemplateConfig, pipeline

messages = [{'role': 'user', 'content': 'who are you?'}]
pipe = pipeline('InternVL2-1B',
                chat_template_config=ChatTemplateConfig('customized_model'))
for response in pipe.stream_infer(messages):
    print(response.text, end='')
#3.4、多图推理duotu_VLM.py
from lmdeploy import pipeline, TurbomindEngineConfig
from lmdeploy.vl import load_image

pipe = pipeline('InternVL2-1B',
                backend_config=TurbomindEngineConfig(session_len=8192))

image_urls=[
    'https://raw.githubusercontent.com/open-mmlab/mmdeploy/main/demo/resources/human-pose.jpg',
    'https://raw.githubusercontent.com/open-mmlab/mmdeploy/main/demo/resources/det.jpg'
]

images = [load_image(img_url) for img_url in image_urls]
response = pipe(('describe these images', images))
print(response)
#3.5、多轮对话mlt_VLM.py
from lmdeploy import pipeline, TurbomindEngineConfig, GenerationConfig
from lmdeploy.vl import load_image

pipe = pipeline('InternVL2-1B',
                backend_config=TurbomindEngineConfig(session_len=8192))

image = load_image('https://raw.githubusercontent.com/open-mmlab/mmdeploy/main/demo/resources/human-pose.jpg')
gen_config = GenerationConfig(top_k=40, top_p=0.8, temperature=0.6)
sess = pipe.chat(('describe this image', image), gen_config=gen_config)
print(sess.response.text)
sess = pipe.chat('What is the woman doing?', session=sess, gen_config=gen_config)
print(sess.response.text)

4、模型量化

LMDeploy 量化模块目前仅支持 AWQ 量化算法。
量化是指将高精度数字转换为低精度数字。低精度实体可以存储在磁盘上很小的空间内,从而减少内存需求。

4.1、量化模型

#4.1、量化模型
export HF_MODEL=internlm/internlm2_5-7b-chat
export WORK_DIR=internlm/internlm2_5-7b-chat-4bit

lmdeploy lite auto_awq \
   $HF_MODEL \
  --calib-dataset 'ptb' \
  --calib-samples 128 \
  --calib-seqlen 2048 \
  --w-bits 4 \
  --w-group-size 128 \
  --batch-size 1 \
  --work-dir $WORK_DIR

4.2、模型评测

#4.2、模型评测
#在评测一个模型时,需要准备一份评测配置,指明评测集、模型和推理参数等信息。
cd /root/opencompass/opencompass/configs
touch configs/eval_internlm2_lmdeploy.py
#编辑文件eval_internlm2_lmdeploy.py
python run.py configs/eval_internlm2_lmdeploy.py -w outputs
/root/opencompass/opencompass/configs/eval_internlm2_lmdeploy.py
# configure the dataset
from mmengine.config import read_base


with read_base():
    # choose a list of datasets
    from .datasets.mmlu.mmlu_gen_a484b3 import mmlu_datasets
    from .datasets.ceval.ceval_gen_5f30c7 import ceval_datasets
    from .datasets.triviaqa.triviaqa_gen_2121ce import triviaqa_datasets
    from opencompass.configs.datasets.gsm8k.gsm8k_0shot_v2_gen_a58960 import \
        gsm8k_datasets
    # and output the results in a chosen format
    from .summarizers.medium import summarizer

datasets = sum((v for k, v in locals().items() if k.endswith('_datasets')), [])

# configure lmdeploy
from opencompass.models import TurboMindModelwithChatTemplate

# configure the model
models = [
    dict(
        type=TurboMindModelwithChatTemplate,
        abbr=f'internlm2-chat-7b-lmdeploy',
        # model path, which can be the address of a model repository on the Hugging Face Hub or a local path
        path='internlm/internlm2-chat-7b',
        # inference backend of LMDeploy. It can be either 'turbomind' or 'pytorch'.
        # If the model is not supported by 'turbomind', it will fallback to
        # 'pytorch'
        backend='turbomind',
        # For the detailed engine config and generation config, please refer to
        # https://github.com/InternLM/lmdeploy/blob/main/lmdeploy/messages.py
        engine_config=dict(tp=1),
        gen_config=dict(do_sample=False),
        # the max size of the context window
        max_seq_len=7168,
        # the max number of new tokens
        max_out_len=1024,
        # the max number of prompts that LMDeploy receives
        # in `generate` function
        batch_size=5000,
        run_cfg=dict(num_gpus=1),
    )
]

4.3 W8A8量化

#1.lmdeploy 提供了命令行工具 lmdeploy lite smooth_quant 实现量化功能。并且其中命令行参数 --quant-dtype 可以用来控制是进行8-bit整数还是浮点数类型的量化。更多命令行工具使用方式,请执行 lmdeploy lite smooth_quant --help 查看。
pip install lmdeploy[all]


#2. int8量化

lmdeploy lite smooth_quant internlm/internlm2_5-7b-chat --work-dir ./internlm2_5-7b-chat-int8 --quant-dtype int8

#3. fp8量化

lmdeploy lite smooth_quant internlm/internlm2_5-7b-chat --work-dir ./internlm2_5-7b-chat-fp8 --quant-dtype fp8

4.4 Key-Value(KV) Cache 量化

#Key-Value(KV) Cache 量化
#LMDeploy 规定 qant_policy=4 表示 kv int4 量化,quant_policy=8 表示 kv int8 量化。

from lmdeploy import pipeline, TurbomindEngineConfig
engine_config = TurbomindEngineConfig(quant_policy=8)
pipe = pipeline("internlm/internlm2_5-7b-chat", backend_config=engine_config)
response = pipe(["Hi, pls intro yourself", "Shanghai is"])
print(response)
【C++/嵌入式梳理】bootloader 【C++/嵌入式笔试面试八股】bootloader 阅读详情

相关推荐

SECS/GSM 测试工具 SecsExpress 的配置与实战应用

本文详细介绍了半导体设备通讯测试工具SecsExpress的配置与实战应用。作为专业的SECS/GSM协议调试工具,它能模拟Host与设备端进行双向测试,帮助工程师快速部署、验证通讯链路,并高效排查与RMS系统或真实设备间的联调问题,是提升半导体工厂设备集成与维护效率的利器。

yhn456789的博客 305

(笔记+作业)书生大模型实战营春节卷王班---L1G6000 OpenCompass 评测书生大模型实践

(笔记+作业)书生大模型实战营春节卷王班---L1G6000 OpenCompass 评测书生大模型实践

haidizym的博客 325

ZYNQ Linux下UIO中断配置避坑实录:从设备树修改到用户层测试(Vivado 2018.2)

本文详细解析了ZYNQ Linux下UIO中断配置的全流程,从设备树修改到用户层测试,特别针对Vivado 2018.2环境中的常见陷阱提供解决方案。内容涵盖中断号配置规则、用户空间中断处理程序编写以及性能优化技巧,帮助开发者高效实现硬件中断的用户空间控制。

weixin_31854867的博客 337

LMDeploy 项目使用教程

LMDeploy 是一个开源项目,用于压缩、部署和服务大型语言模型(LLM)。以下是项目的目录结构及其简要介绍: ``` lmdeploy/ ├── .github/ # GitHub 工作流和其他 GitHub 相关配置 ├── autotest/ # 自动化测试脚本和测试用例 ├── benchmark/ # 性能测试脚...

gitblog_00322的博客 617

瑞芯微RK3506开发板DSM音频开发避坑指南:从硬件改接到内核配置全流程

本文详细解析了在瑞芯微RK3506开发板上进行DSM音频开发的完整流程与关键避坑点。内容涵盖从硬件改造(如电阻焊接)、内核驱动配置(DTS参数、补丁应用)到系统调试与波形分析的全过程,旨在帮助嵌入式开发者高效实现高信噪比、低成本的音频方案,避免常见错误。

weixin_29164091的博客 414

华为EC6108V9E刷机实战:从U盘准备到开机优化的完整避坑指南

本文提供华为悦盒EC6108V9E刷机与优化的完整实战指南。针对搭载RK3228芯片和安卓4.4.4系统的设备,从型号确认、固件选择、U盘准备,到详细刷机步骤、常见故障排除,以及刷机后的深度性能优化,手把手帮助用户规避风险,让旧盒子焕发新生,成为流畅的全能媒体中心。

weixin_29324401的博客 1215

L1G3-LMDeploy 课程作业

摘要 本教程展示了使用LMDeploy工具部署和量化InternVL与InternLM大语言模型的过程。主要内容包括:1) 通过Python代码实现InternLM的离线部署和文本生成,演示了不同解码策略(贪心、随机采样、集束搜索等);2) 展示了Top-k和Top-p采样的核心实现代码;3) 使用LMDeploy CLI工具和OpenAI API风格部署模型服务;4) 介绍了APIClient接口的调用方法,包括启动服务和进行推理的完整流程。教程提供了从模型部署到实际应用的全链条技术实现方案。

m0_57280180的博客 452

BitLocker磁盘锁定解决方法

摘要:本文介绍了BitLocker加密磁盘被锁的两种情况及解决方法。对于系统盘锁定,建议在微软账户中查找48位恢复密钥;数据盘锁定可尝试密码或恢复密钥解锁。若密钥丢失,可通过IT支持或数据恢复服务尝试解决。预防措施包括妥善备份密钥到微软账户和离线位置,避免随意更改系统硬件配置。BitLocker安全性高,恢复密钥是解锁关键,提醒用户务必做好备份以防数据丢失。(148字)

yueke06442300的专栏 2697

书生大模型实战营 L2G3000 LMDeploy量化部署进阶实践

获取模型。

qq_42803347的博客 1504

Rocky Linux 9.0国内yum源一键替换指南(上海交大镜像站实测)

本文详细介绍了如何将Rocky Linux 9.0的yum源替换为上海交大镜像站,以解决国内用户访问官方源速度慢的问题。通过实测验证,上海交大镜像站提供高速下载和稳定更新,并提供了完整的替换步骤、常见问题解决方案及高级优化配置,帮助用户提升软件包下载效率。

weixin_29304985的博客 368

性能测试能力提升-线程、并发、吞吐量、TPS、QPS、响应时间

接着上一篇的知识:性能测试能力提升-关于性能测试,本篇文章,我们将主要介绍以下几方面的知识: 线程数&并发用户数 相对并发&绝对并发 吞吐量 TPS&QPS 响应时间

程序员小杨哥的博客 4590

书生大模型实战营第四期L2G3000(LMDeploy 量化部署进阶实践)

1、首先根据要求选择镜像和硬件配置,创建开发机。显存估算:我们要运行参数量为7B的InternLM2.5,由查询InternLM2.5-7b-chat的config.json文件可知,bfloat16所以我们需要大于14GB的显存,选择(24GB显存容量),后选择,等状态栏变成运行中,点击,我们即可开始部署。2、然后创建conda环境,安装相关包。3、验证模型文件是否可用。运行命令,启动CLI对话界面此时资源占用情况如下:如果选择。

stinkypudding的博客 1301

XILINX RFSoC全面解析(五)—— Zynq UItrascale+ RF Data Converter IP核详解

这期我们来看看RFSoC独有的IP核——Zynq UItrascale+ RF Data Converter如何使用。 我使用的VIVADO版本是2018.3,这个是最低版本,要开发RFSoC,VIVADO版本必须不低于2018.3。 另外电脑配置也需要很高,64位,8核@3.4GHz CPU,16GB内存,固态硬盘基本就是低配,跑起来很勉强。建议有条件的朋友使用工作站或者服务器。 首先在VIVADO中新建一个工程,因为我使用的是xilinx官方的开发板,所以可以直接设定选board就行。 在I

1万+

书生大模型L2G3000LMDeploy 量化部署进阶实践

打开,进入如下界面并按箭头指示顺序点击。点选开发机,自拟一个开发机名称,选择镜像。我们要运行参数量为7B的InternLM2.5,由查询InternLM2.5-7b-chat的config.json文件可知,bfloat16所以我们需要大于14GB的显存,选择(24GB显存容量),后选择,等状态栏变成运行中,点击,我们即可开始部署。在终端中,让我们输入以下指令,来创建一个名为lmdeploy的conda环境,python版本为3.10,创建成功后激活环境并安装0.5.3版本的lmdeploy及相关包。

Sean_505的博客 1892

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

书生大模型实战营L2G3000 - LMDeploy 量化部署进阶实践

创建开发机,选择镜像。我们要运行参数量为7B的InternLM2.5,由查询InternLM2.5-7b-chat的config.json文件可知,bfloat16所以我们需要大于14GB的显存,选择(24GB显存容量),后选择,等状态栏变成运行中,点击,我们即可开始部署。在终端中,让我们输入以下指令,来创建一个名为lmdeploy的conda环境,python版本为3.10,创建成功后激活环境并安装0.5.3版本的lmdeploy及相关包。

Ameliorating的博客 788

贝叶斯统计 [韦来生编]

贝叶斯(Bayes)统计是近几十年来迅速发展起来的数理统计的一个重要分支。贝叶斯方法与经典统计方法的主要不同之处是进行统计推断时除了利用样本信息外,还要利用参数的先验信息,因此可以提高统计推断或统计决策的效果。它在经济、金融、生物、医学、自然科学和社会科学等许多领域具有广泛的应用。贝叶斯方法的研究已渗透到了统计学的几乎所有领域。作者在给中国科学技术大学概率论与数理统计专业本科生开设的“数理统计”课程中有一章专门讲授“贝叶斯方法和统计决策理论”,近十年来也给中国科学技术大学概率统计专业研究生开设过几次“贝叶斯分析”课。本书是在对过去讲稿的内容作了适当的增减和调整的基础上完成的。  本书共分六章。第1章是绪论,介绍了贝叶斯统计的若干基本概念,同时对必要的数理统计的基础知识有重点地作了回顾。第二章介绍了确定先验分布的若干可供选择的方法。第三章介绍了几类常见统计模型参数的后验分布的主要结果和计算方法。第四章和第五章分别介绍了“贝叶斯统计推断”和“贝叶斯统计决策”的内容。第六章介绍了贝叶斯统计计算的若干方法,包括蒙特卡洛方法和马尔可夫链蒙特卡洛(MCMC)方法以及相关统计软件的简介。本书的每一章附右大量的例题和习题,书末附有常用的几个表格和部分习题解答供读者查用。  大约可在54学时内讲授本书的第1章至第六章的主要内容,教师可根据学时需要选讲本书第1章至第六章的部分内容。书中标“*”号的章节可略去不讲,留给读者作为阅读材料。第六章例题中的R代码和部分例题的数据文件等可从作者个人主页下载。  作者在编写本书的过程中参考了J.O.Berger教授的《统计决策论及贝叶斯分析》和茆诗松教授编写的《贝叶斯统计》等书中的一些内容,以及《贝叶斯分析》一书中由张伟平博士编写的有关贝叶斯统计计算的一些内容。在此表示衷心感谢。  本书编写准备过程中,中国科学技术大学统计与金融系的几个研究生帮助完成了本书部分中文的录入和排版,作者对他们的辛勤工作表示真诚的感谢。高等教育出版社为本书的出版给予了大力支持。在此一并致谢。

L2G3000 LMDeploy 量化部署进阶实践

lmdeploy lite auto_awq: lite这是LMDeploy的命令,用于启动量化过程,而auto_awq代表自动权重量化(auto-weight-quantization)。–work-dir /root/models/internlm2_5-7b-chat-w4a16-4bit: 这是工作目录的路径,用于存储量化后的模型和中间结果。–calib-dataset ‘ptb’: 这个参数指定了一个校准数据集,这里使用的是’ptb’(Penn Treebank,一个常用的语言模型数据集)。

westen51的博客 1763

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

(笔记+作业)书生大模型实战营春节卷王班---L2G3000 LMDeploy 量化部署进阶实践

(笔记+作业)书生大模型实战营春节卷王班---L2G3000 LMDeploy 量化部署进阶实践

haidizym的博客 913

L2G3000书生大模型实战营第4期——3.3 LMDeploy 量化部署实践

使用结合W4A16量化与kv cache量化的internlm2_5-1_8b-chat模型封装本地API并与大模型进行一次对话;使用Function call功能让大模型完成一次简单的"加"与"乘"函数调用。

wuzipl的博客 1295

L2G3000作业-LMDeploy 量化部署进阶实践

书生浦语训练营

m0_73878994的博客 1056

L2G3000——LMDeploy 量化部署进阶实践

是一个专门用于创建文件夹并设置开发机共享目录的软链接。

taoismimortal的博客 901

(笔记+作业)第五期书生大模型实战营---L1G3000 LMDeploy 高效部署量化实践

(笔记+作业)第五期书生大模型实战营---L1G3000 LMDeploy 高效部署量化实践

haidizym的博客 553

书生浦语大模型实战训练营L2G3000 LMDeploy 量化部署实践闯关任务

使用结合W4A16量化与kv cache量化的internlm2_5-1_8b-chat模型封装本地API并与大模型进行一次对话。使用Function call功能让大模型完成一次简单的"加"与"乘"函数调用。

qq_30731313的博客 1084

L2G3000: LMDeploy 量化部署进阶实践

使用结合W4A16量化与kv cache量化的internlm2_5-1_8b-chat模型封装本地API并与大模型进行一次对话,作业截图需包括显存占用情况与大模型回复,参考4.1 API开发,请注意2.2.3节与4.1节应使用作业版本命令。关于Function call,即函数调用功能,它允许开发者在调用模型时,详细说明函数的作用,并使模型能够智能地根据用户的提问来输入参数并执行函数。我们通过2.1 LMDeploy API部署InternLM2.5的实践为例,输入以下指令,启动API服务器。

weixin_43125088的博客 536

第3关 L2G3000 LMDeploy 量化部署进阶实践

大模型只做transformer的decode,核心算子是attention,再attention中,我们对输入x首先要做3个线性变换变成qkv,其中qk做内积计算得分,v做注意力汇聚,输入阶段可以理解为对大模型输入问题的阶段,问题是一个序列x,包含多个token,这些token是一次性输入给大模型的,我们再计算时会一次性拿到所有的qkv,这个阶段称为预填充阶段,新的迭代只输入新的 Qx_ 与历史的k和v进行计算注意力分数,将每轮迭代的KV都进行缓存,可以供下次迭代使用。

weixin_44780490的博客 920

书生浦语实战训练营——L2G3000-LMDeploy 量化部署书生大模型实践

最近在学习书生第六期实战训练营,提供免费的算力和教程,如果感兴趣就一起来学习吧!

weixin_63866037的博客 411

进阶岛-第3关-L2G3000-LMDeploy 量化部署进阶实践

要运行参数量为7B的InternLM2.5,由查询InternLM2.5-7b-chat的config.json文件可知,bfloat16所以我们需要大于14GB的显存,选择(24GB显存容量),后选择,等状态栏变成运行中,点击,我们即可开始部署。在终端中,让我们输入以下指令,来创建一个名为lmdeploy的conda环境,python版本为3.10,创建成功后激活环境并安装0.5.3版本的lmdeploy及相关包。【我还使用之前的lagent虚拟环境,不想创新的了】

m0_52460096的博客 1230
上一篇: (笔记+作业)第五期书生大模型实战营---L1G2000 OpenCompass 评测书生大模型实践
下一篇: 利用Llamaindex和本地pdf文档,轻松打造知识图谱Graph RAG
haidizym
博客等级 码龄7年 383粉丝 87原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址