5. 基础关卡-Xtuner微调个人小助手认知任务

chrome-win64-159.0.8145.0(Canary).zip 内容概要:Chrome for Testing 官方 chrome 159.0.8145.0 win64 平台(金丝雀版通道),原版未修改,附来源说明。 适合人群:Windows 64 位 上的自动化测试工程师、爬虫开发者、CI 环境搭建者。 使用场景及目标:①Chrome for Testing 官方浏览器本体,供自动化测试使用;②与同版本 chromedriver 配套;③CI/容器环境的浏览器运行时。 其他说明:Chrome for Testing 为 Google 官方发布、允许自由分发的文件;本资源为第三方整理的下载便利服务。 立即下载

5. 基础关卡-Xtuner微调个人小助手认知

基础任务(完成此任务即完成闯关并获得 100 算力点)

使用 XTuner 微调 InternLM2-Chat-7B 实现自己的小助手认知,如下图所示(图中的尖米需替换成自己的昵称),记录复现过程并截图。

1. 复制模型

在InternStudio开发机中的已经提供了微调模型,可以直接软链接即可。

本模型位于/root/share/new_models/Shanghai_AI_Laboratory/internlm2_5-7b-chat

mkdir /root/finetune/models

ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm2_5-7b-chat /root/finetune/models/internlm2_5-7b-chat

2. 修改Config

获取官方写好的 config:

# cd {path/to/finetune}
cd /root/finetune
mkdir ./config
cd config
xtuner copy-cfg internlm2_5_chat_7b_qlora_alpaca_e3 ./

修改以下几行:

#######################################################################
#                          PART 1  Settings                           #
#######################################################################
- pretrained_model_name_or_path = 'internlm/internlm2_5-7b-chat'
+ pretrained_model_name_or_path = '/root/finetune/models/internlm2_5-7b-chat'

- alpaca_en_path = 'tatsu-lab/alpaca'
+ alpaca_en_path = '/root/finetune/data/assistant_Tuner_change.jsonl'


evaluation_inputs = [
-    '请给我介绍五个上海的景点', 'Please tell me five scenic spots in Shanghai'
+    '请介绍一下你自己', 'Please introduce yourself'
]

#######################################################################
#                      PART 3  Dataset & Dataloader                   #
#######################################################################
alpaca_en = dict(
    type=process_hf_dataset,
-   dataset=dict(type=load_dataset, path=alpaca_en_path),
+   dataset=dict(type=load_dataset, path='json', data_files=dict(train=alpaca_en_path)),
    tokenizer=tokenizer,
    max_length=max_length,
-   dataset_map_fn=alpaca_map_fn,
+   dataset_map_fn=None,
    template_map_fn=dict(
        type=template_map_fn_factory, template=prompt_template),
    remove_unused_columns=True,
    shuffle_before_pack=True,
    pack_to_max_length=pack_to_max_length,
    use_varlen_attn=use_varlen_attn)

3. 启动微调

微调命令:

cd /root/finetune
conda activate xtuner-env

xtuner train ./config/internlm2_5_chat_7b_qlora_alpaca_e3_copy.py --deepspeed deepspeed_zero2 --work-dir ./work_dirs/assistTuner

微调结果如下:

L1-Xtuner-basic

4. 权重转换

模型转换的本质其实就是将原本使用 Pytorch 训练出来的模型权重文件转换为目前通用的 HuggingFace 格式文件,那么我们可以通过以下命令来实现一键转换。

我们可以使用 xtuner convert pth_to_hf 命令来进行模型格式转换。

xtuner convert pth_to_hf 命令用于进行模型格式转换。该命令需要三个参数:CONFIG 表示微调的配置文件, PATH_TO_PTH_MODEL 表示微调的模型权重文件路径,即要转换的模型权重, SAVE_PATH_TO_HF_MODEL 表示转换后的 HuggingFace 格式文件的保存路径。

除此之外,我们其实还可以在转换的命令中添加几个额外的参数,包括:

参数名解释
–fp32代表以fp32的精度开启,假如不输入则默认为fp16
–max-shard-size {GB}代表每个权重文件最大的大小(默认为2GB)
cd /root/finetune/work_dirs/assistTuner

conda activate xtuner-env

# 先获取最后保存的一个pth文件
pth_file=`ls -t /root/finetune/work_dirs/assistTuner/*.pth | head -n 1 | sed 's/:$//'`
export MKL_SERVICE_FORCE_INTEL=1
export MKL_THREADING_LAYER=GNU
xtuner convert pth_to_hf ./internlm2_5_chat_7b_qlora_alpaca_e3_copy.py ${pth_file} ./hf

convert

转换后的目录文件,模型被转换为 HuggingFace 中常用的 .bin 格式文件。

(xtuner-env) root@intern-studio-50014188:~/finetune/work_dirs/assistTuner# ls -alh hf/
total 300M
drwxr-xr-x 2 root root 4.0K Dec 11 14:21 .
drwxr-xr-x 6 root root 4.0K Dec 11 14:21 ..
-rw-r--r-- 1 root root 5.0K Dec 11 14:21 README.md
-rw-r--r-- 1 root root  654 Dec 11 14:21 adapter_config.json
-rw-r--r-- 1 root root 300M Dec 11 14:21 adapter_model.bin
-rw-r--r-- 1 root root 6.7K Dec 11 14:21 xtuner_config.py

此时,hf 文件夹即为我们平时所理解的所谓 “LoRA 模型文件”。

说明
可以简单理解:LoRA 模型文件 = Adapter

5. 模型合并

对于 LoRA 或者 QLoRA 微调出来的模型其实并不是一个完整的模型,而是一个额外的层(Adapter),训练完的这个层最终还是要与原模型进行合并才能被正常的使用。

在 XTuner 中提供了一键合并的命令 xtuner convert merge,在使用前我们需要准备好三个路径,包括原模型的路径、训练好的 Adapter 层的(模型格式转换后的)路径以及最终保存的路径。

cd /root/finetune/work_dirs/assistTuner
conda activate xtuner-env

export MKL_SERVICE_FORCE_INTEL=1
export MKL_THREADING_LAYER=GNU
xtuner convert merge /root/finetune/models/internlm2_5-7b-chat ./hf ./merged --max-shard-size 2GB

model_merged

目录结构:

(xtuner-env) root@intern-studio-50014188:~/finetune/work_dirs/assistTuner# ll merged/
total 15120013
drwxr-xr-x 2 root root       4096 Dec 11 20:01 ./
drwxr-xr-x 7 root root       4096 Dec 11 20:00 ../
-rw-r--r-- 1 root root        980 Dec 11 20:00 config.json
-rw-r--r-- 1 root root       8843 Dec 11 20:00 configuration_internlm2.py
-rw-r--r-- 1 root root        123 Dec 11 20:00 generation_config.json
-rw-r--r-- 1 root root      80669 Dec 11 20:00 modeling_internlm2.py
-rw-r--r-- 1 root root 1949342720 Dec 11 20:00 pytorch_model-00001-of-00008.bin
-rw-r--r-- 1 root root 1946250748 Dec 11 20:00 pytorch_model-00002-of-00008.bin
-rw-r--r-- 1 root root 1979787782 Dec 11 20:00 pytorch_model-00003-of-00008.bin
-rw-r--r-- 1 root root 1946250812 Dec 11 20:00 pytorch_model-00004-of-00008.bin
-rw-r--r-- 1 root root 1979787846 Dec 11 20:01 pytorch_model-00005-of-00008.bin
-rw-r--r-- 1 root root 1946250812 Dec 11 20:01 pytorch_model-00006-of-00008.bin
-rw-r--r-- 1 root root 1979787846 Dec 11 20:01 pytorch_model-00007-of-00008.bin
-rw-r--r-- 1 root root 1748040704 Dec 11 20:01 pytorch_model-00008-of-00008.bin
-rw-r--r-- 1 root root      18179 Dec 11 20:01 pytorch_model.bin.index.json
-rw-r--r-- 1 root root        713 Dec 11 20:01 special_tokens_map.json
-rw-r--r-- 1 root root       8806 Dec 11 20:01 tokenization_internlm2.py
-rw-r--r-- 1 root root       7805 Dec 11 20:01 tokenization_internlm2_fast.py
-rw-r--r-- 1 root root    5753097 Dec 11 20:01 tokenizer.json
-rw-r--r-- 1 root root    1477754 Dec 11 20:01 tokenizer.model
-rw-r--r-- 1 root root       2511 Dec 11 20:01 tokenizer_config.json

模型 WebUI 对话

再次运行 xtuner_streamlit_demo.py 脚本来观察微调后的对话效果。修改脚本中的模型路径:

# 直接修改脚本文件第18行
- model_name_or_path = "Shanghai_AI_Laboratory/internlm2_5-7b-chat"
+ model_name_or_path = "/root/finetune/work_dirs/assistTuner/merged"

启动应用:

conda activate xtuner-env

pip install streamlit==1.31.0
streamlit run /root/Tutorial/tools/L1_XTuner_code/xtuner_streamlit_demo.py

浏览器访问应用:

finetune-model-web-chat

chrome-headless-shell-win64-157.0.8103.38(Stable).zip Chrome for Testing 官方指定版本的 Chrome 浏览器、ChromeDriver 与 Headless Shell 压缩包,适用于 Selenium、Playwright 等自动化测试环境搭建,覆盖 Windows、macOS、Linux 多平台,解压即可使用,无需额外安装或配置。 立即下载

相关推荐

chrome-win32-159.0.8150.0(Canary).zip

内容概要:Chrome for Testing 官方 chrome 159.0.8150.0 win32 平台(金丝雀版通道),原版未修改,附来源说明。 适合人群:Windows 32 位 上的自动化测试工程师、爬虫开发者、CI 环境搭建者。 使用场景及目标:①Chrome for Testing 官方浏览器本体,供自动化测试使用;②与同版本 chromedriver 配套;③CI/容器环境的浏览器运行时。 其他说明:Chrome for Testing 为 Google 官方发布、允许自由分发的文件;本资源为第三方整理的下载便利服务。

Xtuner实战+LLM微调

本文介绍了基于Xtuner工具对InternLM模型进行微调,包括数据集的处理和配置文件的处理

L1142456160的博客 685

化工MES-石化盈科信息技术有限责任公司.pptx

化工MES-石化盈科信息技术有限责任公司.pptx

XTuner 微调实践微调

大模型

weixin_43125088的博客 231

【TiktokAPI】Tiktok直播API与实时互动功能开发完全指南

Tiktok直播API允许开发者创建、管理直播,并实现各种互动功能。/*** 获取Tiktok直播API访问令牌* @param {string} client_id - 应用ID* @param {string} client_secret - 应用密钥* @param {string} code - 授权码* @param {string} redirect_uri - 重定向URI* @returns {Promise<object>} 访问令牌响应*/try {}),

Mageia的专栏 3221

NVIDIA DGX Spark 深度应用解析:从大模型训练到边缘推理的完整实践指南

内存管理:充分利用统一内存架构,避免不必要的数据传输批处理大小:根据模型大小调整批处理大小以优化内存使用精度选择:在精度损失可接受范围内使用较低精度计算流水线优化:重叠计算和数据传输操作DGX Spark作为一个专门的AI计算平台,在大模型开发的各个阶段都能发挥重要作用。从数据预处理到模型训练,从微调到推理部署,其统一内存架构和强大的计算能力为AI开发者提供了前所未有的本地开发体验。需要注意的是,虽然DGX Spark性能强大,但合理的算法设计和系统优化仍然是获得最佳性能的关键。

time_days的博客 2876

第四期书生大模型实战营——基础岛第5关-L1G5000-XTuner 微调个人小助手认知

在 XTuner 中提供了一键合并的命令 xtuner convert merge,在使用前我们需要准备好三个路径,包括原模型的路径、训练好的 Adapter 层的(模型格式转换后的)路径以及最终保存的路径。该命令需要三个参数:LLM 表示原模型路径,ADAPTER 表示 Adapter 层的路径, SAVE_PATH 表示合并后的模型最终的保存路径。对于全量微调的模型(full)其实是不需要进行整合这一步的,因为全量微调修改的是原模型的权重而非微调一个新的 Adapter ,因此是不需要进行模型整合的。

AbelYang1的博客 798

[PayPal报错]为遵守国际法规,这笔交易已被拒绝。

PayPal报错解决:为遵守国际法规,这笔交易已被拒绝。

qq_39906413的博客 1万+

上海人工智能实验室书生·浦语大模型基础岛关卡5-XTuner 微调个人小助手认知任务

通过以下代码一键通过符号链接的方式链接到模型文件,这样既节省了空间,也便于管理。最终通过浏览器访问localhost:8501即可进行对话。为了训练出自己的小助手,需要将脚本中。可见微调成功,本关任务完成。

RepenZ的博客 474

告别机床‘卡顿’!用C语言在STM32上实现连续小线段速度前瞻(附开源代码)

本文详细介绍了如何在STM32上使用C语言实现工业级连续小线段速度前瞻控制器,解决机床运动控制中的卡顿问题。通过轻量级算法框架设计和混合精度计算策略,显著提升加工效率和表面质量。文章包含开源代码和实战案例,帮助开发者快速掌握速度前瞻规划算法在嵌入式系统中的应用。

weixin_42571738的博客 190

source tree clone error:fatal remote error: Repository not found

source tree clone error:fatal remote error: Repository not found

Linda的前端开发路 3082

基础关卡-第5关:XTuner 微调个人小助手认知

对于 LoRA 或者 QLoRA 微调出来的模型其实并不是一个完整的模型,而是一个额外的层(Adapter),训练完的这个层最终还是要与原模型进行合并才能被正常的使用。对于全量微调的模型(full)其实是不需要进行整合这一步的,因为全量微调修改的是原模型的权重而非微调一个新的 Adapter ,因此是不需要进行模型整合的。在这种模式下,安装的包可以在本地进行修改,并且修改后的效果会立即反映到使用该包的项目中,不需要重新安装。这里我们使用修改好的配置文件。表示微调的模型权重文件路径,即要转换的模型权重,

weixin_44001574的博客 950

【75】OpenCV C++实战篇——OpenCV 图像拼接、全景拼接(教程合集)

本文整理了OpenCV实现图像拼接的技术教程合集,涵盖C++和Python两种语言实现方案。图像拼接技术旨在将多张重叠图像融合为无缝全景图,既扩大视角又保持高分辨率。内容包含水平矫正等关键步骤(附对比效果图),提供多个实战案例的完整代码和详细讲解,涉及单应性矩阵、图像变换等核心技术。不同案例展示了从两张到多张图像的拼接效果,适合不同层次的学习者参考实践。

程序员,他们想的是什么?他们想的永远都是技术,他们崇尚的也永远都是技术。 530

1.2. 基础关卡 - 第 5 关 XTuner 微调个人小助手认知

权重转换:模型转换的本质其实就是将原本使用 Pytorch 训练出来的模型权重文件转换为目前通用的 HuggingFace 格式文件,那么我们可以通过以下命令来实现一键转换。,在使用前我们需要准备好三个路径,包括原模型的路径、训练好的 Adapter 层的(模型格式转换后的)路径以及最终保存的路径。在模型合并完成后,我们就可以看到最终的模型和原模型文件夹非常相似,包括了分词器、权重文件、配置信息等等。脚本来观察微调后的对话效果,不过在运行之前,我们需要将脚本中的模型路径修改为微调后的模型的路径。

wxhbest的博客 803

vue3:最新实现腾讯人脸核身+增强版人脸核身使用方法及示例源码,Vue3如何使用腾讯云慧眼人脸核身,提供人脸核身案例、身份信息核验、活体检测与核身比对等示例代码(后端spring与thinkphp)

vue3接入腾讯人脸核身,腾讯云人脸核身Vue3+后端代码,H5人脸核身,vue3 H5如何使用腾讯人脸核身sdk,vue3+thinkphp腾讯人脸核身,Spring Boot接入腾讯云人脸核身教程,hinkphp腾讯人脸核身,vue3人脸核身插件接入流程,vue+spring boot实现腾讯人脸核身,vue3接入腾讯云【增强版人脸核身接入】,vue3 h5微信公众号网页腾讯云慧眼人脸核身,tvue3接入人脸核身SDK,vue3+typescrip+vite接入慧眼实名认证,vue3腾讯云活体人脸核身(

✅ 精选推荐文章 4125

【06】新国都——新国都 嵌入式笔试,校招,题目记录及解析

本文总结了新国都嵌入式校招笔试题目及解析,内容涵盖C语言基础、Linux系统、数据结构与算法等多个方面。主要包括:1)不定项选择题10道,涉及字符串常量、蓝牙与GPRS区别、编译错误识别等;2)判断题10道,考察Linux权限、循环控制、内存管理等;3)填空题5道,包括编码计算、逻辑运算、宏定义等;4)简答题2道,解析全局变量引用和进程线程区别。题目难度适中,重点考察嵌入式开发基础知识和编程能力,并提供详细解析和扩展知识链接,对准备嵌入式相关笔试具有参考价值。

程序员,他们想的是什么?他们想的永远都是技术,他们崇尚的也永远都是技术。 1438

第三期书生大模型实战营(【基础岛】- 第5关 | XTuner 微调个人小助手认知)

基础岛通关奖励:结营证书,解锁全部 50% A100 权限,1688 算力点奖励助力项目申请和落地。

博客 739

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

书生大模型 基础关卡 --- 第5关:XTuner 微调个人小助手认知

书生大模型 基础关卡 --- 第5关:XTuner 微调个人小助手认知

vaylove的博客 1045

书生大模型实战营-基础关卡-5-XTuner 微调个人小助手认知

制作对话数据训练重新推理。

微风❤水墨 401

(笔记+作业)书生大模型实战营春节卷王班---L1G5000 XTuner 微调个人小助手认知

(笔记+作业)书生大模型实战营春节卷王班---L1G5000 XTuner 微调个人小助手认知

haidizym的博客 693

书生.浦江大模型实战训练营——(八)XTuner 微调个人小助手认知

微调(fine-tuning)是一种基于预训练模型,通过少量的调整(fine-tune)来适应新的任务或数据的方法。微调是在预训练模型的基础上,将模型中一些层的权重参数进行微调,以适应新的数据集或任务。

weixin_63866037的博客 870

(笔记)第三期书生·浦语大模型实战营(十一卷王场)–书生基础岛第5关---XTuner 微调个人小助手认知

学员闯关手册:https://aicarrier.feishu.cn/wiki/ZcgkwqteZi9s4ZkYr0Gcayg1n1g?课程视频:https://www.bilibili.com/video/BV1tz421B72y/课程文档:关卡作业:https://github.com/InternLM/Tutorial/blob/camp3/docs/L1/XTuner/task.md开发机平台:https://studio.intern-ai.org.cn/

haidizym的博客 671

书生关卡(L1G5000)闯关任务

在clone过程中可能会因为历史课程创建过InternLM文件夹,报错说文件夹存在,此时只要把该文件夹删除即可。4、编写python脚本,修改训练数据,本次把名称改为“小语”7、开始训练微调,微调过程需要一个多小时,依然需要耐心。2、安装所需的各类包,安装过程要较长时间,需要耐心等待。13、打开localhost:8501,开始正常对话。10、调整模型的运行脚本,选择运行合并后的模型。6、获取配置文件,并按照指南进行修改。5、运行脚本,修改训练数据,并确认。1、进入开发机,创建环境。

csmwinner的博客 287

书生第三期实战营-基础岛

大型语言模型(LLMs)的发展,如ChatGPT和GPT-4,引发了人们对人工通用智能(AGI)的到来的讨论。然而,在开源模型中复制这种进展是具有挑战性的。本文介绍了InternLM2,一个开源的LLM,在6个维度和30个基准测试中胜过其前任,在长文本建模和开放式主观评估方面通过创新的预训练和优化技术。InternLM2的预训练过程被详细介绍,重点突出了对多种数据类型(文本、代码和长文本数据)的准备。

Goodman_____的博客 1368

第三期书生大模型实战营(【基础岛】- 第4关 | InternLM + LlamaIndex RAG 实践)

基础岛通关奖励:结营证书,解锁全部 50% A100 权限,1688 算力点奖励助力项目申请和落地。

博客 1307
上一篇: 4. 基础关卡-Llamaindex RAG实践
下一篇: 1. 进阶关卡-探索书生大模型能力边界
KongTY312
博客等级 码龄12年 2143粉丝 189原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

KongTY312

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址