大模型微调工具库XTuner

xtuner 大模型微调 本文主要介绍xtuner 框架微调大模型的全过程 阅读详情

XTuner 介绍

XTuner 是一个高效、灵活且功能全面的大语言模型(LLM)和多模态模型(VLM)微调工具库,由上海人工智能实验室开发。它旨在帮助开发者在有限的资源下轻松微调大模型,支持多种主流模型和灵活的数据处理方式。

主要功能
  1. 高效性:

    • 仅需8GB显存即可微调7B模型,支持多节点跨设备微调70B+模型。

    • 集成高性能算子(如FlashAttention、Triton kernels)和DeepSpeed的ZeRO优化策略,提升训练效率。

  2. 灵活性:

    • 兼容多种主流大语言模型(如InternLM、Llama2、ChatGLM等)和多模态模型(如LLaVA)。

    • 支持多种数据格式(如JSON、CSV)和微调算法(如QLoRA、LoRA、全量参数微调)。

  3. 全能性:

    • 提供增量预训练、指令微调与Agent微调功能。

    • 支持从训练到部署的全流程,包括模型转换和合并。

应用场景
  • 指令微调:根据特定任务需求对模型进行微调,使其更好地适应特定场景。

  • 增量预训练:在已有模型基础上继续预训练,提升模型性能。

  • 多模态微调:对多模态模型进行微调,支持图像、文本等多模态数据。

安装与使用
  1. 安装:

    • 使用pip安装:

      bash复制

      pip install -U xtuner
    • 或从源码安装:

      bash复制

      git clone https://github.com/InternLM/xtuner.git
      cd xtuner
      pip install -e '.[all]'
  2. 微调:

    • 查看预设配置:

      bash复制

      xtuner list-cfg
    • 开始训练:

      bash复制

      xtuner train $CONFIG
    • 转换模型:

      bash复制

      xtuner convert pth_to_hf $CONFIG $PATH_TO_PTH_MODEL $SAVE_PATH_TO_HF_MODEL
优势与不足
  • 优势:

    • 高效:在资源有限的情况下仍能高效微调大模型。

    • 灵活:支持多种模型和数据格式,适应性强。

    • 国产化适配:对国产化模型支持较好。

  • 不足:

    • 无可视化界面:仅支持命令行操作。

    • 部署方式单一:官方仅支持pip安装。

XTuner 是一个强大的微调工具库,尤其适合需要高效微调大模型的开发者。它通过灵活的配置和优化技术,降低了微调门槛,提升了开发效率。

XTuner 微调个人小助手认知实战 ​ 本次实践是在InternStudio平台上,运用XTuner工具来微调InterLM2-Chat-1.8B模型,实现模型身份认证问题的解决。具体来说,如下图,让模型在回答自身身份问题的时候,加入你想要的信息。 ​ 阅读详情

相关推荐

XTuner: 高效灵活的大模型微调工具

XTuner是一个专为大模型微调设计的开源工具库。它的目标是提供一个高效、灵活且全能的平台,使用户能够轻松地对各种大语言模型进行定制化训练。XTuner不仅支持主流的语言模型,还扩展到多模态模型的领域,为研究人员和开发者提供了强大的工具支持。

步子哥的博客 1161

XTuner 低成本微调实战

本文介绍了xtuner的入门和上手教程,包括理论和实战两部分,本文重点在理论部分。在理论部分,详细介绍了微调框架xtuner以及微调的工作流程。

George_han的博客 2783

龙芯3A5000开发板PMON升级UEFI固件实战指南

固件是计算机硬件与操作系统之间的关键桥梁,负责初始化硬件并引导系统启动。其工作原理是在上电后执行自检、加载引导程序,最终将控制权移交操作系统。在国产化平台中,采用标准化的UEFI固件具有重要技术价值,它能提供图形化配置界面、统一硬件驱动模型,并支持安全启动等现代特性,从而显著提升硬件兼容性与系统管理效率。这一技术广泛应用于PC、服务器及嵌入式设备,尤其在需要运行银河麒麟等主流操作系统的龙芯开发板场景中,将传统PMON固件升级至UEFI,能实现更流畅的系统安装与更稳定的运行体验。本文基于固件升级与UEFI引导

weixin_42664597的博客 567

【InternLM】XTuner微调LLM

LLM大模型的参数量以B(10亿)为单位,动辄迁百亿、千亿。如何在已经训练好的、性能优异的底座模型基础上,通过微调的方式,来实现对模型的性能优化、知识注入、领域迁移和风格对齐等调整,是一件非常有使用场景的工作。Xtuner是上海人工智能实验室推出的用于LLM微调的一站式工具,其:1)模型方面:支持InternLM、Qwen、Baichuan、ChatGLM等国内主流开源大模型,以及Llama、Mixtral和Gemma等国外优秀开源大模型;

guofei_fly的博客 2356

MySQL安装最后启动报错--Job for mysqld.service failed because the control process exited with error code. See

MySQL安装最后启动报错: [root@localhost mysql]# systemctl start mysqld Warning: mysqld.service changed on disk. Run 'systemctl daemon-reload' to reload units. Job for mysqld.service failed because the control process exited with error code. See "systemctl status m

chenchen的博客 2748

PyTorch版Unet训练后别只看loss:手把手教你计算并可视化多类别语义分割的mIoU(附完整代码)

本文详细介绍了在PyTorch中使用Unet模型进行多类别语义分割后,如何计算和可视化mIoU(mean Intersection over Union)以全面评估模型性能。通过完整的代码示例和实用技巧,帮助开发者从loss优化转向更精准的区域分割评估,特别适用于医学图像分析等关键场景。

weixin_30906185的博客 435

XTuner 微调个人小助手认知任务

XTuner是全链条开源开放的一个高效微调的框架,它适配多种生态,即就是多种微调算法:多种微调&偏好对齐算法,覆盖各类应用场景。适配多种开源生态,支持加载HuggingFace、ModelScope模型或者数据集。自动优化加速即就是开发者无需关注复杂的显存优化与计算加速细节,支持千亿参数+百万上下文训练。适配多种硬件,训练方案覆盖NVIDIA20系列以上所有显卡,最低只需8GB显存即可微调7B模型。二:XTuner个人小助手微调实践。

chasemydreamidea的博客 1366

ubuntu20.4源码安装最新gcc(gcc V12.2)

Ubuntu20.4自带的gcc为V9.4.0的版本,老版本的gcc存在不支持新版本C语言规范,在配置、编译、安装应用软件或工具时,可能存在不能正确安装的问题。(比如:libpqxx-7.7.4在配置时要求c++17版本的支持,但gcc V9.4.0版本不支持c++17)。因此本文介绍ubuntu20.4的系统下载最新gcc12.2版本源码,并进行本地编译、安装。本节内容包括gcc12.2的必备库安装和gcc12.2安装两部分内容组成。

q544344318的博客 1万+

书生基础5L1-XTuner 微调个人小助手认知

使用 XTuner 微调 InternLM2-Chat-7B 实现自己的小助手认知,如下图所示(图中的需替换成自己的昵称),记录复现过程并截图。

2301_78443770的博客 975

Windows 10下用Python 3搞定Android源码下载:最新repo工具避坑指南

本文详细介绍了在Windows 10系统上,使用Python 3和官方最新repo工具下载Android源码的完整流程。文章提供了从Git安装、环境配置到repo工具初始化、同步加速及常见错误排查的避坑指南,帮助开发者高效搭建稳定的源码下载环境。

weixin_29266749的博客 439

线程池详解(通俗易懂超级好)

目标 【理解】线程池基本概念 【理解】线程池工作原理 【掌握】自定义线程池 【应用】java内置线程池 【应用】使用java内置线程池完成综合案例 线程池 线程池基础 线程池使用 线程池综合案例 4.学员练习 5.线程池总结 概念介绍 1:什么是线程池 2:为什么使用线程池 3:线程池有哪些优势 什么是池 什么是线程池 线程池其实就是一种多线程处理形式,处理过程中可以将任务添加到队列中,然后在创建线程后自动启动这些任务。这里的线程就是我们前面学过的线程,这里的任务就是我们前面学过的实现了Runna.

拉格朗日的学习笔记 12万+

书生浦语第五期-L1G4-InternLM 论文分类微调实践(XTuner 版)

一句话介绍XTuner:XTuner 是一个高效、灵活、全能的轻量化大模型微调工具库。核心特点:高效:支持在有限资源下微调大模型,如在8GB显存上微调7B参数模型,也支持多节点微调70B+模型;自动分发高性能算子加速训练;兼容DeepSpeed优化策略。灵活:支持多种大语言模型(如InternLM、Llama、ChatGLM等)和多模态模型;支持多种数据格式;支持QLoRA、LoRA、全量参数微调等多种微调算法。全能:支持增量预训练、指令微调与Agent微调;预定义多种对话模板;

weixin_66889864的博客 586

Android Telephony主要模块及功能

Telephony的代码主要由五个模块组成 1.Telephony Frameworks 代码区域: frameworks/opt/telephony/ 其中主要的文件在如下目录 /frameworks/opt/telephony/src/java/com/android/internal/telephony/ 其中比较常见的有以下几类文件 1.BaseCommands、RIL构成R

泊客 7738

(笔记+作业)第五期书生大模型实战营---L1G4000 XTuner 微调 InternLM 论文分类实践

(笔记+作业)第五期书生大模型实战营---L1G4000 XTuner 微调 InternLM 论文分类实践

haidizym的博客 1270

数字孪生教程大全之 我们如何构建数字孪生?数字孪生的五个级别都是什么

文章摘要 什么是数字孪生? 我们如何构建数字孪生? 开发智能数字孪生系统的框架 什么是数字孪生? 数字孪生是一个不言自明的术语,用于识别物理系统的数字化版本。数字孪生的最早参考来自大卫·格伦特(David Gelernter )的小说作品。在他 1995 年的书中,Gelernter 博士为读者提供了未来有趣的可能性——万维网。前网络书籍谈到了计算机系统上的镜像数字世界。有些人可能会争辩说,我们的 Meta-verse 是新的数字世界——现实世界的数字孪生。但是,还有其他可能性,时间可能会讲述一个更好的

iCloudEnd的博客 3665

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

XTuner 微调个人认知小助手

基于 XTuner用 QLoRA 的方式来微调InternLM1.8B模型得到一个自己的小助手

weixin_45924641的博客 1452

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

大模型实战基础(五):5. XTuner 微调 InternLM 个人小助手认知实践

目标:从0开始学习LLM平台:InternStudio开发机教程:书生大模型实战营提示:以下是基于书生大模型实战营(第四期)——基础岛:XTuner 微调 InternLM 个人小助手认知实践的学习内容大语言模型微调(Fine-tuning of Large Language Models)是指在预训练的大型语言模型基础上使用特定任务的数据进一步训练模型,以使其更好地适应和执行特定任务的过程。

Hyu_1998的博客 1190

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

全球国家地区城市数据

MySQL全球国家地区城市数据报。。。。。。。。。。。。

InternLM 论文分类微调实践(XTuner 版)

首先需要在 ModelScope 创建模型,为你的模型取一个响亮优雅又好听的名字,然后按右下图中的信息创建(下面截图有点问题,根本不需要创建②,如果你创建了使用。

weixin_42716893的博客 1180

进阶岛--InternVL 微调实践

InternVL 是一种用于多模态任务的深度学习模型,旨在处理和理解多种类型的数据输入,如图像和文本。它结合了视觉和语言模型,能够执行复杂的跨模态任务,比如图文匹配、图像描述生成等。跟着 https://github.com/InternLM/Tutorial/blob/camp3/docs/L2/InternVL/joke_readme.md 教程,写的相当详细,这里只概述下流程。如下图,对于InternVL这个模型来说,它vision模块就是一个微调过的ViT,llm模块是一个InternLM的模型。

nightcat's Blog 1087

基础闯关5

XTuner 是一个高效、灵活、全能的轻量化大模型微调工具库。高效支持大语言模型 LLM、多模态图文模型 VLM 的预训练及轻量级微调。XTuner 支持在 8GB 显存下微调 7B 模型,同时也支持多节点跨设备微调更大尺度模型(70B+)。自动分发高性能算子(如 FlashAttention、Triton kernels 等)以加速训练吞吐。兼容DeepSpeed,轻松应用各种 ZeRO 训练优化策略。灵活支持多种大语言模型,包括但不限于InternLMLlama 2ChatGLMQwen。

zhougynui的博客 964

书生大模型实战营闯关关卡七

XTuner是一个高效、灵活且全能的大模型微调工具库,支持在较低配置的硬件上进行大模型的微调,兼容多种大语言模型和多模态图文模型的预训练与微调,提供了增量预训练、指令微调与Agent微调等多种微调模式,以及无缝接入部署和评测工具库的功能。通过利用XTuner进行模型微调,开发者可以快速地优化和定制自己的模型,以适应不同的应用场景和任务需求。

Etherealland的博客 624

XTuner学习

XTuner:大模型微调的高效实战工具一、核心定位与技术亮点1. 产品定位XTuner是由上海人工智能实验室(Shanghai AI Lab)开发的一款开源大模型微调工具库,专注于降低大语言模型(LLM)和多模态模型(VLM)微调的门槛。其设计目标是让开发者在有限硬件资源(如单卡8GB显存)下,也能高效完成模型优化,支持从训练到部署的全流程。2. 技术优势硬件适配性强单卡8GB显存即可微调70亿参数(7B)模型,支持多节点扩展至700亿参数以上模型。

风信子的博客 1623

书生·浦语大模型实战营 第四节课 XTuner 微调 LLM:1.8B、多模态、Agent

XTuner 是一个高效、灵活、全能的轻量化大模型微调工具库。高效支持大语言模型 LLM、多模态图文模型 VLM 的预训练及轻量级微调。XTuner 支持在 8GB 显存下微调 7B 模型,同时也支持多节点跨设备微调更大尺度模型(70B+)。自动分发高性能算子(如 FlashAttention、Triton kernels 等)以加速训练吞吐。兼容DeepSpeed🚀,轻松应用各种 ZeRO 训练优化策略。灵活支持多种大语言模型,包括但不限于InternLMLlama 2ChatGLMQwen。

weixin_45483762的博客 1032

第四期书生大模型实战营-L1G4000

基于 LlamaIndex 构建自己的 RAG 知识库,寻找一个问题 A 在使用 LlamaIndex 之前 浦语 API 不会回答,借助 LlamaIndex 后 浦语 API 具备回答 A 的能力,截图保存。

souththzz的博客 547

【书生大模型实战营】L1G1000 书生大模型全链路开源体系

该体系涵盖了数据、预训练、微调、部署、测评和应用的全链路开源解决方案,几乎覆盖了大模型开发的整个过程。接下来,我们将依次介绍这些开源工具在各个阶段的应用。

qq_43917368的博客 1755

书生大模型实战营第四期1-1书生大模型全链路开源体系

支持的模型包括 Llama、InternVL、Qwen、DeepSeek、Gemma 等,并兼容 InternLM-XComposer、LlaVA 和 MiniGemini 等模型的权重量化和推理。同时,LMDeploy 集成了 modelscope/swift,为 VLM 推理提供默认加速引擎,支持多模型、多机、多卡推理服务,降低了开发难度并支持快速实验。在一年的开发历程中,书生大模型建设成果颇多。在合成数据时,书生大模型采用以下3种方式,基于规则的数据构造,基于模型的数据扩充和基于反馈的数据生成。

allen565的博客 1021
上一篇: Streamlit框架介绍及如何使用
下一篇: 开源自动化测试框架uiautomator2
许于宝的博客
博客等级 码龄14年 3803粉丝 700原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

许于宝的博客

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址