基于华为昇腾 910B,使用 XTuner 微调一个大模型个人小助手

基于华为昇腾910B,实战InternLM个人小助手认知微调 本文将带领大家基于华为云 ModelArts,使用 XTuner 单卡微调一个 InternLM 个人小助手。开源链接:(欢迎 star) 阅读详情

最近这一两周不少公司都已经停止秋招了。

不同以往的是,当前职场环境已不再是那个双向奔赴时代了。求职者在变多,HC 在变少,岗位要求还更高了。

最近,我们又陆续整理了很多大厂的面试题,帮助一些球友解惑答疑,分享技术面试中的那些弯弯绕绕。

总结如下:

《大模型面试宝典》(2024版) 发布!
《AIGC 面试宝典》圈粉无数!

喜欢本文记得收藏、关注、点赞


基于信创环境训练大模型势在必行。

本文主要介绍了如何基于 ModelArts,使用 XTuner 在昇腾 910B 上单卡微调一个 InternLM 个人小助手,涵盖环境配置、模型准备、模型微调等流程,希望可以帮助大家快速上手微调和应用书生系列大模型。

XTuner 简介

XTuner 是一个高效、灵活、全能的轻量化大模型微调工具库。常用命令如下:

查看帮助

xtuner help

查看版本

xtuner version

列出所有预定义配置文件

xtuner list-cfg

列出包含指定名称的预定义配置文件

xtuner list-cfg -p $NAME

xtuner list-cfg 命令用于列出内置的所有配置文件。参数 -p 或 --pattern 表示模式匹配,后面跟着的内容将会在所有的配置文件里进行模糊匹配搜索,然后返回最有可能的内容。

复制配置文件

xtuner copy-cfg $CONFIG $SAVE_PATH

xtuner copy-cfg 命令用于复制一个内置的配置文件。该命令需要两个参数:CONFIG 代表需要复制的配置文件名称,SAVE_PATH 代表复制的目标路径。

执行微调训练

xtuner train $CONFIG

xtuner train 命令用于启动模型微调进程。该命令需要一个参数:CONFIG 用于指定微调配置文件。

将 pth 格式的模型文件转换成 HuggingFace 格式的模型

xtuner convert pth_to_hf $CONFIG $PATH_TO_PTH_MODEL $SAVE_PATH_TO_HF_MODEL

xtuner convert pth_to_hf 命令用于进行模型格式转换。该命令需要三个参数:CONFIG 表示微调的配置文件;PATH_TO_PTH_MODEL 表示微调的模型权重文件路径,即要转换的模型权重;SAVE_PATH_TO_HF_MODEL 表示转换后的 HuggingFace 格式文件的保存路径。

资源选择

  • 模块:【华为云】-【控制台】-【AI开发平台ModelArts】-【开发空间】-【Notebook】

  • 镜像:pytorch_2.1.0-cann_8.0.rc1-py_3.9-euler_2.10.7-aarch64-snt9b

图片

  • 类型:【Ascend】

  • 规格:【Ascend: 1*ascend-snt9b2|ARM: 24核 192GB】

  • 磁盘规格:按需即可

图片

安装环境

安装依赖

pip install einopspip install acceleratepip install dlinfer-ascendpip install deepspeedpip install loguru

安装 XTuner

git clone -b v0.1.23 https://github.com/InternLM/xtunergit clone -b v0.1.23 https://gitee.com/InternLM/xtuner #github 不行的话用这条cd xtuner

安装之前修改一个文件,路径:xtuner/tools/model_converters/merge.py

parser.add_argument(        '--device',        default='npu',        choices=('cuda', 'cpu', 'auto','npu'),        help='Indicate the device')  # choices里面添加一个'npu',也可以把default直接改成npu

然后安装

pip install -e .

模型准备

· 创建目录

mkdir -p /home/ma-user/work/work_dir/cd /home/ma-user/work/work_dir/

· 下载模型

使用 Huggingface-cli 方式下载,设置 hf-mirros 环境变量

export HF_ENDPOINT=https://hf-mirror.com

下载模型

huggingface-cli download --resume-download internlm/internlm2-chat-1_8b --local-dir /home/ma-user/work/model/internlm2-chat-1_8b

· 微调前的模型对话

cli_demo.py 代码

import torchfrom transformers import AutoTokenizer, AutoModelForCausalLMmodel_name_or_path = "/home/ma-user/work/model/internlm2-chat-1_8b"  # 模型所在的本地路径tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, trust_remote_code=True, device_map='npu')model = AutoModelForCausalLM.from_pretrained(model_name_or_path, trust_remote_code=True, torch_dtype=torch.bfloat16, device_map='npu')model = model.eval()system_prompt = """You are an AI assistant whose name is InternLM (书生·浦语).- InternLM (书生·浦语) is a conversational language model that is developed by Shanghai AI Laboratory (上海人工智能实验室). It is designed to be helpful, honest, and harmless.- InternLM (书生·浦语) can understand and communicate fluently in the language chosen by the user such as English and 中文."""messages = [(system_prompt, '')]print("=============Welcome to InternLM chatbot, type 'exit' to exit.=============")while True:    input_text = input("\nUser  >>> ")    input_text = input_text.replace(' ', '')    if input_text == "exit":        break    length = 0    for response, _ in model.stream_chat(tokenizer, input_text, messages):        if response is not None:            print(response[length:], flush=True, end="")            length = len(response)

执行代码

python cli_demo.py

运行结果

图片

· 微调

准备数据文件

cd /home/ma-user/work/work_dir/mkdir -p datastouch datas/assistant.json

创建一个脚本准备数据(xtuner_generate_assistant.py)

创建准备数据脚本

vim xtuner_generate_assistant.py

脚本内容如下:

import json# 设置用户的名字name = 'JeffDing同志'# 设置需要重复添加的数据次数n = 8000# 初始化数据data = [    {"conversation": [{"input": "请介绍一下你自己", "output": "我是{}的小助手,内在是上海AI实验室书生·浦语的1.8B大模型哦".format(name)}]},    {"conversation": [{"input": "你在实战营做什么", "output": "我在这里帮助{}完成XTuner微调个人小助手的任务".format(name)}]}]# 通过循环,将初始化的对话数据重复添加到data列表中for i in range(n):    data.append(data[0])    data.append(data[1])# 将data列表中的数据写入到'datas/assistant.json'文件中with open('datas/assistant.json', 'w', encoding='utf-8') as f:    # 使用json.dump方法将数据以JSON格式写入文件    # ensure_ascii=False 确保中文字符正常显示    # indent=4 使得文件内容格式化,便于阅读    json.dump(data, f, ensure_ascii=False, indent=4)

将对应的 name 进行修改(在第 4 行的位置)

- name = 'JeffDing同志'+ name = "你自己的名称"

生成微调数据

python xtuner_generate_assistant.py

· 准备配置文件

列出支持的配置文件

xtuner list-cfg -p internlm2

· 复制配置文件

xtuner copy-cfg internlm2_chat_1_8b_qlora_alpaca_e3 .

· 修改配置文件

主要修改地方如下:

########################################################################                          PART 1  Settings                           ########################################################################- pretrained_model_name_or_path = 'internlm/internlm2-chat-1_8b'+ pretrained_model_name_or_path = '/home/ma-user/work/model/internlm2-chat-1_8b'- alpaca_en_path = 'tatsu-lab/alpaca'+ alpaca_en_path = 'datas/assistant.json'evaluation_inputs = [-    '请给我介绍五个上海的景点', 'Please tell me five scenic spots in Shanghai'+    '请介绍一下你自己', 'Please introduce yourself']########################################################################                      PART 3  Dataset & Dataloader                   ########################################################################alpaca_en = dict(type=process_hf_dataset,-   dataset=dict(type=load_dataset, path=alpaca_en_path),+   dataset=dict(type=load_dataset, path='json', data_files=dict(train=alpaca_en_path)),    tokenizer=tokenizer,    max_length=max_length,-   dataset_map_fn=alpaca_map_fn,+   dataset_map_fn=None,    template_map_fn=dict(type=template_map_fn_factory, template=prompt_template),    remove_unused_columns=True,    shuffle_before_pack=True,    pack_to_max_length=pack_to_max_length,    use_varlen_attn=use_varlen_attn)

注意代码块里前面标+、-号的行,分别代表添加和去除。另外在 NPU上微调还需要去掉以下这段:

########################################################################                      PART 2  Model & Tokenizer                      ########################################################################- quantization_config=dict(-            type=BitsAndBytesConfig,-            load_in_4bit=True,-            load_in_8bit=False,-            llm_int8_threshold=6.0,-            llm_int8_has_fp16_weight=False,-            bnb_4bit_compute_dtype=torch.float16,-            bnb_4bit_use_double_quant=True,-            bnb_4bit_quant_type='nf4')

需要去掉这一段的原因:使用这段会出现一个情况,量化这个操作好像不支持 NPU,会报错找不到 GPU。

· 启动微调

xtuner train ./internlm2_chat_1_8b_qlora_alpaca_e3_copy.py

图片

· 模型格式转换

pth_file=`ls -t ./work_dirs/internlm2_chat_1_8b_qlora_alpaca_e3_copy/*.pth | head -n 1`xtuner convert pth_to_hf ./internlm2_chat_1_8b_qlora_alpaca_e3_copy.py ${pth_file} ./hf

· 模型合并

xtuner convert merge /home/ma-user/work/model/internlm2-chat-1_8b ./hf ./merged --max-shard-size 2GB --device npu

· 执行微调后的 demo

修改 cli_demo.py 里面模型路径为 /home/ma-user/work/work_dir/merged

- model_name_or_path = "/home/ma-user/work/model/internlm2-chat-1_8b"  # 模型所在的本地路径+ model_name_or_path = "/home/ma-user/work/work_dir/merged"  # 模型所在的本地路径

执行代码

python cli_demo.ppy

运行结果

图片

启智平台华为昇腾910B使用MS-Swift微调Janus-Pro-7/1B 最近想要微调一下DeepSeek出品的Janus多模态大模型利用启智平台的昇腾910B国产计算卡进行大模型的微调查看了一下MS-Swift支持了Janus模型的微调,LLamafactory好像暂时还不支持该模型的微调看到了MS-Swift有单独对昇腾的支持,因此首先要安装swift,根据下述指令安装即可。 阅读详情

相关推荐

昇腾910B国产化大模型适配指南

华为910B国产化大模型训练环境安装指南,支持Huggingface模型以及DDP分布式训练框架。

qq_42751565的博客 1万+

昇腾910b部署qwen-7b-chat进行流式输出【pytorch框架】NPU推理

解决报错'torch_npu._C._NPUDeviceProperties' object has no attribute 'major' 解决报错call aclnnEmbedding failed, detail:EZ1001: weight not implemented for DT_BFLOAT16, should be in dtype support list [DT_DOUBLE,DT_FLOAT,DT_FLOAT16,DT_INT64,DT_INT32,DT_INT16,DT_INT8

懒惰是科技进步的原始动力 8639

基于华为昇腾910B和LLaMA Factory多卡微调的实战教程

本文主要介绍了基于华为昇腾910B和LLaMA Factory多卡微调的实战教程,希望对使用大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 模型选型与下载 2.4 配置多卡环境 3. 运行代码 3.1 构建训练数据 3.2 修改配置文件 3.3 继续预训练(CPT) 3.4 SFT

herosunly的博客 17万+

昇腾910b部署Chatglm3-6b进行流式输出【pytorch框架】NPU推理

解决chatglm输出乱码,No such file or directory: "*.safetensors"

懒惰是科技进步的原始动力 7462

LLaMA Factory多卡微调的实战教程(持续更新)

本文主要介绍了LLaMA Factory多卡微调的实战教程(持续更新),希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 模型选型与下载 2.4 配置多卡环境 3. 运行代码 3.1 构建训练数据 3.2 修改配置文件 3.3 微调 3.3.1 zero3微调 3.3.2 启动API 3.3.3 模型测试

herosunly的博客 25万+

等时替代模型( Isotemporal Substitution Model)

文献阅读:Associations of sedentary time and physical activity with adverse health conditions: Outcome-wide analyses using isotemporal substitution model(该论文于2022年4月28日发表在柳叶刀子刊 EClinicalMedicine 上)

姚巨龙的博客 1万+

【Atlas 800 训练服务器(型号:9000)商用版驱动固件CANN】昇腾8*Ascend 910 安装驱动、mindspore、torch

cmi module initialize failed. ret is -8005 Warning: Device do not support double dtype now, dtype cast repalce with float.

懒惰是科技进步的原始动力 5362

保姆级教程:手把手带你玩转英飞凌TC397开发板的板载资源(CAN FD、LCD、SD卡)

本文提供英飞凌TC397开发板的全面开发指南,涵盖CAN FD通信、LCD显示、SD卡文件系统和以太网通信等核心功能。通过详细的代码示例和硬件连接说明,帮助开发者快速上手并充分利用开发板的丰富资源,实现高效嵌入式系统开发。

weixin_33726313的博客 245

【无标题】

本文将帮助大家快速上手比赛,指引大家如何使用ModelArts平台帮助你做实验、存数据、训模型、跑结果。请注意,本次比赛涉及到的所有OBS、ModelArts等资源都应在。

不愧是暮言的博客 1309

Comsol&Matlab 亥姆霍兹共振消声器传递损失理论解与仿真解

当外界噪声以共振频率进入共振器时,共振器内的空气质量发生周期性的振动,从而减少或消除噪声。当特定频率的声波进入共振器时,共振器的空气质量会发生周期性的振动,从而实现对该频率的噪声的减弱或消除。5. 反射和吸收:共振器的几何形状和容积还可以影响共振器内空气振动的反射和吸收。然而,对于不同频率的噪声,需要相应调整共振器的参数以匹配新的共振频率。3. 腔体内的空气振动:当特定频率的声波进入共振器时,共振器内的空气质量会发生振动。2. 声波进入共振器:外界的声波通过共振器的颈部进入共振器的封闭空腔。

声学黑洞仿真工作室 4584

logisim计组实验八 乘法器

原理:点这里 有问题欢迎留言哦~ 文章目录五位阵列乘法器电路图时间延迟分析六位补码阵列乘法器五位无符号乘法流水线原理图电路图原码一位乘法器原理图电路图补码一位乘法器 五位阵列乘法器 电路图 此处注意:全加器FA的cout端是进位端而非输出端 使用硬件控制比循环累加的速度快得多。 但是存在串行进位链 改进版: 时间延迟分析 T是计算相加数的一级门延迟 3n–>2n 性能差别在1.5倍 ...

treblez's blog 2万+

baichuan2的13B Lora微调

全量模型下载地址:https://ascend-repo-modelzoo.obs.cn-east-2.myhuaweicloud.com/MindFormers/baichuan2/Baichuan2_13B_Base.ckpt。数据集:https://github.com/baichuan-inc/Baichuan2/blob/main/fine-tune/data/belle_chat_ramdon_10k.json。说明:底层驱动和固件需的版本需要大于等于C84的版本。3、权重文件下载和准备。

深蓝 1774

CGNS快速入门到实战(二):VS配置调用CGNS静态链接库

CGNS快速入门到实战这一系列分成三篇文章展开叙述,具体有:(一)CGNS静态链接库编译;(二)VS配置调用CGNS静态链接库;(三)CGNS文件及案例展示。本篇文章重点讲述VS配置调用CGNS静态链接库。

ahang_99的博客 2619

在华为昇腾 910B 上进行阿里大模型 Qwen2.5 推理

异构 GPU 支持:支持异构 GPU 资源,当前支持 Nvidia、Apple Metal、华为昇腾和摩尔线程等各种类型的 GPU/NPU多推理后端支持:支持vLLM和推理后端,兼顾生产性能需求与多平台兼容性需求多平台支持:支持 Linux、Windows 和 macOS 平台,覆盖 amd64 和 arm64 架构多模型类型支持:支持 LLM 文本模型、VLM 多模态模型、Embedding 文本嵌入模型 和 Reranker 重排序模型等各种类型的模型多模型仓库支持。

2301_78285120的博客 8452

GEE初学:谷歌地球引擎GEE入门指南(最新注册全流程)

本教程详细介绍了谷歌地球引擎(GEE)的注册与基础操作流程。主要内容包括:1)非商业账号注册步骤,需提供学术机构凭证和研究目的;2)Google Cloud项目创建与API激活;3)Shapefile文件上传方法及资源ID获取;4)JavaScript脚本编写与地图可视化实现。教程通过代码示例展示了两种多边形显示方式(填充和轮廓模式),并强调了GEE的云端处理优势,包括免费访问40多年卫星数据、无需本地高性能硬件等特点。整个流程从账号注册到首个地图可视化完成约需10-15分钟,适合遥感分析初学者快速入门。

此星光明博客 2169

10 SAP CPI header传参

我们在POSTMAN的Headers页签中,添加一个key为msg,value为炊烟袅袅。针对09中,现在固定传参"你好",如果要传其它的参数,我们需要在CPI中做一些处理。需要给Allowed Header(s)赋值,如果多个Header则以“|”隔开。这里写了固定值,需要替换为msg=${header.msg}这里日志打印的值就是POSTMAN中传输的值。保存,部署后,再次执行POSTMAN。保存,部署后,再次执行POSTMAN。保存,部署后,再次执行POSTMAN。返回失败,说明msg没有赋值成功。

SAP CPI 485

LLM实践系列-昇腾910B上进行Qwen2.5推理

异构 GPU 支持:支持异构 GPU 资源,当前支持 Nvidia、Apple Metal、华为昇腾和摩尔线程等各种类型的 GPU/NPU多推理后端支持:支持vLLM和推理后端,兼顾生产性能需求与多平台兼容性需求多平台支持:支持 Linux、Windows 和 macOS 平台,覆盖 amd64 和 arm64 架构多模型类型支持:支持 LLM 文本模型、VLM 多模态模型、Embedding 文本嵌入模型 和 Reranker 重排序模型等各种类型的模型多模型仓库支持。

xx_nm98的博客 9897

基于深度学习的电力系统暂态稳定评估与预防控制复现

本文复现了基于深度学习的电力系统暂态稳定评估与预防控制方法。主要内容包括:(1)数据预处理环节,对IEEE 39节点系统的电压幅值、相角等特征数据进行归一化处理;(2)ACNGAT模型实现,该模型结合时间卷积网络(TCN)和图注意力网络(GAT)提取时空特征;(3)采用改进的帝企鹅优化算法进行预防控制。关键技术点包括:融合时空信息的特征提取、改进的邻接矩阵构建方法(λ_ij = E_i * E_j * B_ij)以及时空注意力机制。代码实现采用Python和PyTorch框架。

huanghm88的专栏 337

昇腾910B大模型分布式微调

adapter_name_or_path: /mnt/models/output/0806-004/checkpoint-100 #生成的微调路径。#第一步切换到两个容器实例上查看对应的输出文件(分布式情况下对应的实例都查看下或者查看日志output输出到具体的那个实例)model_name_or_path: /mnt/models/Qwen1.5-0.5B-Chat # 原模型路径。kubectl exec -it <pod_name> -- /bin/bash #对应的实例名字。

qq_45000512的博客 1808

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

Ollama:一个在本地部署、运行大型语言模型的工具

Ollama是一个开源项目,它专为在本地机器上能便捷部署、以及运行大型语言模型(LLM)而设计的工具。

积跬步,至千里。 7142

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

【昇腾】【训练】800TA2-910B使用LLaMA-Factory训练Qwen

LLaMA-Factory使用NPU训练

weixin_45653525的博客 2960

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

Pytorch版本的FunASR适配华为昇腾910B(保姆级教程)

摘要:本文详细介绍了在华为昇腾平台上配置PyTorch训练环境的完整流程,包括驱动/固件安装、CANN工具包部署以及Python环境搭建。主要内容涵盖:1)从昇腾社区下载对应版本的驱动和固件;2)通过命令行安装NPU驱动、固件及CANN组件;3)配置Python3.10环境并安装torch-npu等依赖包;4)提供CPU/NPU两种模式下的语音识别性能测试代码,包含模型加载、推理执行和结果输出示例。最后通过npu-smi工具验证硬件状态,并测试torch-npu的可用性。

weixin_44462930的博客 1847

配置晟腾910b的PyTorch torch_npu环境

1.1、新建conda环境。2、在新建好的conda环境中,安装基础的依赖。3.安装Pytoch:下面是对应pytorch版本链接,注意架构是x86还是aarch64,然后pip install4.安装pytorch-npu,找到自己适配的版本,然后pip install下载好指定版本后,使用pip install 安装下载好的包即可5、测试。使用以下命令测试,如果正常输出结果,说明环境搭建成功。

m0_51347013的博客 4042

【新教程】华为昇腾NPU的pytorch环境搭建

从以下网站,根据匹配结果下载:https://www.hiascend.com/developer/download/community/result?如果不知道用的是哪一个CANN,可以先Python一下,import torch这个包,然后看告警信息是哪个版本的。根据昇腾官方gitee上的信息,Pytoch 2.1.0是长期支持版本,因此选择安装这一版本,从而最大限度避坑。确定好CANN版本后,从下表中手动查找对应的torch_npu版本。2、在新建好的conda环境中,安装基础的依赖。

整数浮点 3826

大模型国产化适配2-基于昇腾910使用ChatGLM-6B进行模型推理

【点击】加入大模型技术交流群随着 ChatGPT 的现象级走红,引领了AI大模型时代的变革,从而导致 AI 算力日益紧缺。与此同时,中美贸易战以及美国对华进行AI芯片相关的制裁导致 AI 算力的国产化适配势在必行。之前对华为昇腾AI软硬件平台进行过相应的介绍,本文将讲述针对ChatGLM-6B大模型在昇腾910加速卡上面进行模型推理,具体代码放置在GitHub:https://github.com...

1926
上一篇: 浅谈多模态大模型幻觉缓解方法
下一篇: 聊聊做大模型落地的这两年
机器学习社区
博客等级 码龄5年 5万+粉丝 594原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址