第四期书生大模型实战营——基础岛第5关-L1G5000-XTuner 微调个人小助手认知

FOC时序及电流采样注意事项 摘要:本文介绍了无刷电机FOC(磁场定向控制)的实现方法,重点解析了电流采样时序与PWM同步的关键技术。在S32K144平台上,需使用两个独立的ADC组件实现双路电流同步采样,采样时刻必须严格对应低边MOS管开启时间并位于PWM波形中央。文章详细说明了硬件触发时序设计、采样电阻配置原则,并通过示波器实测波形验证了电流反馈电路的正确性,指出正弦电流波形应是理想输出形态。关键点包括ADC-PWM时序同步、低边MOS采样及正确的PWM映射配置。 阅读详情

Tutorial

基础任务

使用 XTuner 微调 InternLM2-Chat-7B 实现自己的小助手认知,记录复现过程并截图。

环境配置与数据准备

首先用 conda 先构建一个 Python-3.10 的虚拟环境

cd ~
git clone https://github.com/InternLM/Tutorial.git -b camp4
mkdir -p /root/finetune && cd /root/finetune
conda create -n xtuner-env python=3.10 -y
conda activate xtuner-env

按如下方式安装 XTuner

git clone https://github.com/InternLM/xtuner.git
cd /root/finetune/xtuner

pip install  -e '.[all]'
pip install torch==2.4.1 torchvision==0.19.1 torchaudio==2.4.1 --index-url https://download.pytorch.org/whl/cu121
pip install transformers==4.39.0

安装好后输入 xtuner list-cfg 检查是否正确,接着创建一个新的文件夹用于存储微调数据

mkdir -p /root/finetune/data && cd /root/finetune/data
cp -r /root/Tutorial/data/assistant_Tuner.jsonl  /root/finetune/data

写一个脚本生成修改需要的微调训练数据,在当前目录下创建一个 change_script.py 文件,内容如下:

import json
import argparse
from tqdm import tqdm

def process_line(line, old_text, new_text):
    # 解析 JSON 行
    data = json.loads(line)
    
    # 递归函数来处理嵌套的字典和列表
    def replace_text(obj):
        if isinstance(obj, dict):
            return {k: replace_text(v) for k, v in obj.items()}
        elif isinstance(obj, list):
            return [replace_text(item) for item in obj]
        elif isinstance(obj, str):
            return obj.replace(old_text, new_text)
        else:
            return obj
    
    # 处理整个 JSON 对象
    processed_data = replace_text(data)
    
    # 将处理后的对象转回 JSON 字符串
    return json.dumps(processed_data, ensure_ascii=False)

def main(input_file, output_file, old_text, new_text):
    with open(input_file, 'r', encoding='utf-8') as infile, \
         open(output_file, 'w', encoding='utf-8') as outfile:
        
        # 计算总行数用于进度条
        total_lines = sum(1 for _ in infile)
        infile.seek(0)  # 重置文件指针到开头
        
        # 使用 tqdm 创建进度条
        for line in tqdm(infile, total=total_lines, desc="Processing"):
            processed_line = process_line(line.strip(), old_text, new_text)
            outfile.write(processed_line + '\n')

if __name__ == "__main__":
    parser = argparse.ArgumentParser(description="Replace text in a JSONL file.")
    parser.add_argument("input_file", help="Input JSONL file to process")
    parser.add_argument("output_file", help="Output file for processed JSONL")
    parser.add_argument("--old_text", default="尖米", help="Text to be replaced")
    parser.add_argument("--new_text", default="antgwy", help="Text to replace with")
    args = parser.parse_args()

    main(args.input_file, args.output_file, args.old_text, args.new_text)

执行如下脚本, 获得符合 XTuner 格式的训练数据 assistant_Tuner_change.jsonl。

cd ~/finetune/data
python change_script.py ./assistant_Tuner.jsonl ./assistant_Tuner_change.jsonl

可按如下方式查看数据

cat assistant_Tuner_change.jsonl | head -n 3

训练启动

首先按如下方式复制模型并修改 config,改好的在 ~/Tutorial/configs/internlm2_5_chat_7b_qlora_alpaca_e3_copy.py

mkdir /root/finetune/models

ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm2_5-7b-chat /root/finetune/models/internlm2_5-7b-chat
cd /root/finetune
mkdir ./config
cd config
xtuner copy-cfg internlm2_5_chat_7b_qlora_alpaca_e3 ./

运行如下命令进行微调

cd /root/finetune
conda activate xtuner-env
xtuner train ./config/internlm2_5_chat_7b_qlora_alpaca_e3_copy.py --deepspeed deepspeed_zero2 --work-dir ./work_dirs/assistTuner

在这里插入图片描述

在这里插入图片描述
然后将使用 Pytorch 训练出来的模型权重文件转换为目前通用的 HuggingFace 格式文件

cd /root/finetune/work_dirs/assistTuner

conda activate xtuner-env

# 先获取最后保存的一个pth文件
pth_file=`ls -t /root/finetune/work_dirs/assistTuner/*.pth | head -n 1 | sed 's/:$//'`
export MKL_SERVICE_FORCE_INTEL=1
export MKL_THREADING_LAYER=GNU
xtuner convert pth_to_hf ./internlm2_5_chat_7b_qlora_alpaca_e3_copy.py ${pth_file} ./hf

在这里插入图片描述
转换完成后,可以看到模型被转换为 HuggingFace 中常用的 .bin 格式文件,这就代表着文件成功被转化为 HuggingFace 格式了。此时,hf 文件夹即为我们平时所理解的所谓 “LoRA 模型文件”

对于 LoRA 或者 QLoRA 微调出来的模型其实并不是一个完整的模型,而是一个额外的层(Adapter),训练完的这个层最终还是要与原模型进行合并才能被正常的使用。

对于全量微调的模型(full)其实是不需要进行整合这一步的,因为全量微调修改的是原模型的权重而非微调一个新的 Adapter ,因此是不需要进行模型整合的。

在 XTuner 中提供了一键合并的命令 xtuner convert merge,在使用前我们需要准备好三个路径,包括原模型的路径、训练好的 Adapter 层的(模型格式转换后的)路径以及最终保存的路径。

xtuner convert merge命令用于合并模型。该命令需要三个参数:LLM 表示原模型路径,ADAPTER 表示 Adapter 层的路径, SAVE_PATH 表示合并后的模型最终的保存路径。

按如下方式进行模型合并

cd /root/finetune/work_dirs/assistTuner
conda activate xtuner-env

export MKL_SERVICE_FORCE_INTEL=1
export MKL_THREADING_LAYER=GNU
xtuner convert merge /root/finetune/models/internlm2_5-7b-chat ./hf ./merged --max-shard-size 2GB

在这里插入图片描述

在这里插入图片描述

微调后修改模型路径,运行 xtuner_streamlit_demo.py 脚本来观察微调后的对话效果

streamlit run /root/Tutorial/tools/L1_XTuner_code/xtuner_streamlit_demo.py
# 确保端口映射正确
ssh -CNg -L 8501:127.0.0.1:8501 root@ssh.intern-ai.org.cn -p 36666

在这里插入图片描述

进阶任务

将自我认知的模型上传到 HuggingFace/Modelscope/魔乐平台,并将应用部署到 HuggingFace/Modelscope/魔乐平台

cd ~/finetune/work_dirs/assistTuner
git clone https://www.modelscope.cn/antgwy/InternLM-L1G5.git
cp -r ./merged/* ./InternLM-L1G5/
apt install git-lfs
git lfs install
git add .
git commit -m "init InternLM-L1G5"
git remote set-url origin https://antgwy:<token>@modelscope.cn/antgwy/InternLM-L1G5
git push

https://www.modelscope.cn/models/antgwy/InternLM-L1G5/files

部署应用到 Modelscope 平台,创建空间提交 requirements.txt 和 app.py 即可,见
https://www.modelscope.cn/studios/antgwy/InternLM-L1G5-Space

在这里插入图片描述

CANoe软件之离线报文回放与分析实战 本文详细介绍了如何使用CANoe软件进行离线报文回放与分析,帮助工程师将现场故障数据转化为可反复研究的实验室资源。通过实战步骤,指导如何搭建分析工程、加载DBC文件解码信号,并利用Trace和Graphics窗口进行深度数据筛选与图形化分析,从而高效定位汽车电子故障,是提升诊断效率的关键技能。 阅读详情

相关推荐

【车载开发系列】ParaSoft单元测试环境配置(一)

bdf是数据文件的一种类型,表示一种数据库文件。在ParaSoft当中,可以使用bdf文件来快速创建一个测试项目。

千月星跡 2149

Xtuner实战+LLM微调

本文介绍了基于Xtuner工具对InternLM模型进行微调,包括数据集的处理和配置文件的处理

L1142456160的博客 685

手把手教你用Cesium和RayMarching实现逼真体积云(附完整Shader代码)

本文详细介绍了如何利用Cesium和RayMarching技术实现逼真的体积云效果,包括环境准备、核心逻辑、云层建模和光照增强等关键步骤,并提供了完整的Shader代码。通过噪声函数选型、动态风场模拟和多重散射近似等技术,开发者可以在数字地球可视化项目中创建沉浸式天气效果,显著提升场景的真实感。

weixin_29230649的博客 422

XTuner 微调实践微调

大模型

weixin_43125088的博客 231

AI编程助手Cursor如何革新经济学研究:从计量模型到可视化全流程实战

在数据科学和人工智能技术蓬勃发展的今天,如何高效地将前沿AI工具融入专业领域的研究工作流,成为提升科研效率的关键。其核心原理在于通过自然语言交互,将研究者的专业问题转化为机器可执行的指令,从而实现人机协作的范式转移。这一技术的核心价值在于大幅降低非计算机背景研究者的编程门槛,将精力从繁琐的代码实现中解放出来,更聚焦于学科本身的思想与逻辑。尤其在经济学、金融学等高度依赖数据分析和计量建模的领域,AI编程助手能够快速处理数据清洗、模型估计、可视化及结果解释等任务。具体到应用场景,研究者可以利用结构化提示词工程,

weixin_42531579的博客 302

手把手教你用STM32实现SPWM逆变器控制(附完整代码)

本文提供了一份基于STM32实现SPWM逆变器控制的完整实战指南。文章从硬件选型(如STM32F103C8T6、IR2104驱动器)入手,详细解析了利用定时器TIM1生成SPWM波形的核心原理与代码实现,并涵盖了驱动电路、全桥功率电路及LC滤波器的设计要点与调试技巧,旨在帮助读者从零构建一个可靠的单相全桥逆变器系统。

weixin_29208327的博客 595

L1G5000书生大模型实战营第4期——2.5 XTuner 微调个人小助手认知

使用 XTuner 微调 InternLM2-Chat-7B 实现自己的小助手认知。

wuzipl的博客 2120

ubuntu18.04安装xenomai3.1(百分百成功版)

ubuntu18.04安装xenomai3.1(百分百成功版),保姆级教学!!!

h542812556sdu的博客 2065

书生大模型实战营第四期L1G5000(XTuner 微调个人小助手认知)

微调的作用是让预训练的大模型能够适应下游任务。这里仅作简单介绍,相关的算法如SFT, DPO等不是本文重点。本文在做微调的时候主要用的是LoRA以及QLoRA,这一系列算法基于一个观察:模型全参数可以用一个低秩的矩阵替换,好处是使用的资源显著减少。LoRAQLoRAXTuner 文档链接:XTuner-doc-cn首先使用 conda 先构建一个 Python-3.10 的虚拟环境。然后安装 XTuner。为了验证 XTuner 是否安装正确,我们将使用命令打印配置文件。安装成功!创建一个新的文件夹用于存储

stinkypudding的博客 1184

西门子smart能搜到cpu但连接当前IP地址失败

将ip地址改到同一网段 本机为192.168.1.119就是192.168.1.1网段,但plc在192.168.0.1网段,所以显示ip连接失败,改为同一网段192.168.1.xxx即可(为避免ip冲突尽量改到200往后最大255)如果显示这一步,那么你的物理连接是没有问题的,应当是plc和电脑并不在同一网段导致的问题。输入ipconfig 查看本机网段与plc是否为同一网段。此电脑就不在同一网段所有造成通讯失败,接下来解决这个问题。win+r打开运行,打开cmd。再次尝试,如果还是报错,那么。

weixin_62678581的博客 9890

FPGA学习笔记(一)入门背景、软件及时钟约束的概念及程序下载与固化

使用正点原子的PFPGA开拓者V2学习,通过b站上正点原子的手把手教你学FPGA-基于开拓者V2学习。

贾saisai的博客 3284

【第四期书生大模型实战营基础岛】L1G5000——XTuner 微调个人小助手认知任务

对于 LoRA 或者 QLoRA 微调出来的模型其实并不是一个完整的模型,而是一个额外的层(Adapter),训练完的这个层最终还是要与原模型进行合并才能被正常的使用。对于全量微调的模型(full)其实是不需要进行整合这一步的,因为全量微调修改的是原模型的权重而非微调一个新的 Adapter ,因此是不需要进行模型整合的。,在使用前我们需要准备好三个路径,包括原模型的路径、训练好的 Adapter 层的(模型格式转换后的)路径以及最终保存的路径。表示转换后的 HuggingFace 格式文件的保存路径。

weixin_46084134的博客 1214

C# ScottPlot 5.0 WinForms 十字光标示例:轻松实现动态数值显示,你学会了吗?

ScottPlot是一个免费、开源的.NET交互式绘图库,能够轻松地实现大型数据集的交互式显示。它支持多种图表类型,如折线图、柱状图、饼图、散点图等。ScottPlot的性能非常出色,即使是处理千万级别的数据也游刃有余。

java专栏 2226

L1G5000 XTuner 微调个人小助手认知

1.SFT 数据的获取 2.使用 InternLM2.5-7B-Chat 模型微调 针对业务场景(如特殊自我认知的机器人)的微调能力 一个属于自己的语言聊天机器人

Sophia_2019的博客 800

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

L1G5000XTuner 微调个人小助手认知

本节中,我们将演示如何安装 XTuner。推荐使用 Python-3.10 的 conda 虚拟环境安装 XTuner。

Awangjingaaa的博客 874

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

书生实战营L1G5000-XTuner 微调个人小助手认知任务

在本地开启终端,将服务器的steamlit端口映射到localhost。将Pytorch训练出来的权重转换为HuggingFace格式。教程已经内置config,直接复制即可。开启WebUI后,访问。

etnvo1d的博客 785

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

书生大模型实战营第四期-闯关挑战L1G5000 XTuner 微调个人小助手认知

对于 LoRA 或者 QLoRA 微调出来的模型其实并不是一个完整的模型,而是一个额外的层(Adapter),训练完的这个层最终还是要与原模型进行合并才能被正常的使用。模型转换的本质其实就是将原本使用 Pytorch 训练出来的模型权重文件转换为目前通用的 HuggingFace 格式文件,那么我们可以通过以下命令来实现一键转换。vscode自动帮完成了端口映射,直接进入网页。修改克隆下来的Tutorial仓库中。文件夹,复制官方写好的配置文件。这期来不及做了,下期一定!创建微调模型的软连接。

qq_39297910的博客 1026

书生浦语第四期L1G5000——XTuner 微调个人小助手认知

使用 conda 先构建一个 Python-3.10 的虚拟环境cd ~#git clone 本repo安装XTuner验证安装输出结果为。

tianyuqianmo的博客 1009

书生大模型实战营第4期(L1G5000-XTuner 微调个人小助手认知)

由于前面的任务已经创建过开发机,此时只需要将开发机GPU配置升级到30%(需要实战营助教解锁30%算力,可通过完成L1G2000任务解锁)执行以下命令即可启动微调,注意:第二行中的环境名,这里是我创建的环境名,需要改为自己真实的环境名,下同。由于前面已经创建过相同的环境,因此这里直接激活,我的环境名是“envPython310”推荐该方式,因为通过前门的任务,已经安装过python3.10环境。修改以下几行数据,将标记“-”的行改为标记“+”的行。中的“机智流”为自己的昵称,执行以下命令运行脚本。

猿牧码的博客 865

(笔记+作业)书生大模型实战营春节卷王班---L1G5000 XTuner 微调个人小助手认知

(笔记+作业)书生大模型实战营春节卷王班---L1G5000 XTuner 微调个人小助手认知

haidizym的博客 693

【书生实战营】L1G5000 - XTuner 微调实践

Xtuner 大模型微调

ffffflk的博客 647

书生大模型实战营 L1G5000 XTuner 微调个人小助手认知

对于 LoRA 或者 QLoRA 微调出来的模型其实并不是一个完整的模型,而是一个额外的层(Adapter),训练完的这个层最终还是要与原模型进行合并才能被正常的使用。,在使用前我们需要准备好三个路径,包括原模型的路径、训练好的 Adapter 层的(模型格式转换后的)路径以及最终保存的路径。在模型合并完成后,我们就可以看到最终的模型和原模型文件夹非常相似,包括了分词器、权重文件、配置信息等等。表示微调的模型权重文件路径,即要转换的模型权重,表示合并后的模型最终的保存路径。根据训练营文档内容创建环境。

qq_42803347的博客 442

书生大模型实战L1G5000-XTuner 微调

XTuner 微调 InternLM 个人小助手认知实践_哔哩哔哩_bilibili。对于数据可以利用自己的数据集,但是注意格式!打开对应网址即可,初始打开需要加载。1.准备阶段:安装 XTuner。5.如下所示微调进行ing。8.模型 WebUI 对话。注意:选择正确的文件。

qq_60666264的博客 475

【阿尼亚探索大模型】书生大模型实战营-基础岛第5关(L1G5000)XTuner 微调个人小助手认知

任务类型任务内容基础任务进阶任务将自我认知的模型上传到 HuggingFace/Modelscope/魔乐平台,并将应用部署到 HuggingFace/Modelscope/魔乐平台。

qq_45943172的博客 575

书生浦语 L1G4000, L1G5000,L1G6000

0.3.00.3.1。

qq_42665165的博客 558

第四期书生大模型实战营L1G5000

对于 LoRA 或者 QLoRA 微调出来的模型其实并不是一个完整的模型,而是一个额外的层(Adapter),训练完的这个层最终还是要与原模型进行合并才能被正常的使用。模型转换的本质其实就是将原本使用 Pytorch 训练出来的模型权重文件转换为目前通用的 HuggingFace 格式文件,那么我们可以通过以下命令来实现一键转换。,在使用前我们需要准备好三个路径,包括原模型的路径、训练好的 Adapter 层的(模型格式转换后的)路径以及最终保存的路径。在 XTuner 中提供了一键合并的命令。

weixin_51956916的博客 456
上一篇: 第四期书生大模型实战营——基础岛第4关-L1G4000-InternLM + LlamaIndex RAG 实践
下一篇: 第四期书生大模型实战营——基础岛第6关-L1G6000-OpenCompass 评测书生大模型实践
2inf
博客等级 码龄8年 42粉丝 24原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址