XTuner 介绍
XTuner 是一个高效、灵活且功能全面的大语言模型(LLM)和多模态模型(VLM)微调工具库,由上海人工智能实验室开发。它旨在帮助开发者在有限的资源下轻松微调大模型,支持多种主流模型和灵活的数据处理方式。
主要功能
-
高效性:
-
仅需8GB显存即可微调7B模型,支持多节点跨设备微调70B+模型。
-
集成高性能算子(如FlashAttention、Triton kernels)和DeepSpeed的ZeRO优化策略,提升训练效率。
-
-
灵活性:
-
兼容多种主流大语言模型(如InternLM、Llama2、ChatGLM等)和多模态模型(如LLaVA)。
-
支持多种数据格式(如JSON、CSV)和微调算法(如QLoRA、LoRA、全量参数微调)。
-
-
全能性:
-
提供增量预训练、指令微调与Agent微调功能。
-
支持从训练到部署的全流程,包括模型转换和合并。
-
应用场景
-
指令微调:根据特定任务需求对模型进行微调,使其更好地适应特定场景。
-
增量预训练:在已有模型基础上继续预训练,提升模型性能。
-
多模态微调:对多模态模型进行微调,支持图像、文本等多模态数据。
安装与使用
-
安装:
-
使用
pip安装:bash复制
pip install -U xtuner -
或从源码安装:
bash复制
git clone https://github.com/InternLM/xtuner.git cd xtuner pip install -e '.[all]'
-
-
微调:
-
查看预设配置:
bash复制
xtuner list-cfg -
开始训练:
bash复制
xtuner train $CONFIG -
转换模型:
bash复制
xtuner convert pth_to_hf $CONFIG $PATH_TO_PTH_MODEL $SAVE_PATH_TO_HF_MODEL
-
优势与不足
-
优势:
-
高效:在资源有限的情况下仍能高效微调大模型。
-
灵活:支持多种模型和数据格式,适应性强。
-
国产化适配:对国产化模型支持较好。
-
-
不足:
-
无可视化界面:仅支持命令行操作。
-
部署方式单一:官方仅支持
pip安装。
-
XTuner 是一个强大的微调工具库,尤其适合需要高效微调大模型的开发者。它通过灵活的配置和优化技术,降低了微调门槛,提升了开发效率。
1161



被折叠的 条评论
为什么被折叠?



