1.先从modelscope平台上下载模型
我是下载的 BAAI/Finance-llama3_1_8B_instruct 模型
#模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('BAAI/Finance-llama3_1_8B_instruct',cache_dir="/root/autodl-tmp/aiLearn/model")
cache_dir 是下载到本地或服务器上保存模型的目录
2.拉取XTuner工程
git clone https://github.com/InternLM/xtuner.git
在执行 git clone https://github.com/InternLM/xtuner.git 时可能会报如下的错误:

解决方案:设置 git config 来强制 git 使用 HTTP 1.1
git config --global http.version HTTP/1.1
执行完后继续执行上面的 git clone https://github.com/InternLM/xtuner.git 命令拉取xtuner工程
3.新建一个独立的conda环境,安装XTuner需要的依赖
(1)先配置一下xtuner 的 pytorch 版本为 2.5.1,在runtime.txt 文件中指定 torch==2.5.1 torchvision==0.20.1 torchaudio==2.5.1,如下图所示:

(2)然后新建conda环境,安装xtuner所需的依赖包
conda create --n xtuner-env python=3.10 -y
conda activate xtuner-env
cd xtuner
pip install -e .
安装完成后,再检查一下 torch 的版本,保证torch的版本不要是最新的 2.6.0,要是稳定的2.5.1,可使用以下命令检查 torch 版本:
pip show torch
或者
pip list
如果torch 的版本还是最新的2.6.0,那就到pytorch的官网上找到对应cuda版本的 2.5.1 版本的安装命令再安装一下,我的服务器的cuda是12.4的,所以我的单独安装pytorch的命令为:
pip3 install torch==2.5.1 torchvision==0.20.1 torchaudio==2.5.1 --index-url https://download.pytorch.org/whl/cu124
4.设置需要微调训练的配置文件
(1)新增一个微调训练配置文件
配置文件内容以xtuner中原有的配置文件为模版,复制模版中的内容来做修改,xtuner/xtuner/configs/internlm/internlm2_7b 目录下有各种不同的配置文件,比如,我的微调数据集是json格式的,我就以xtuner/xtuner/configs/internlm/internlm2_7b/internlm2_7b_qlora_json_e3.py 这个配置文件为模版

新建一个llama3_8b_instruct_qlora_ruozhiba_e3.py 配置文件,我的配置文件目录为
/root/autodl-tmp/traintool/xtuner/xtuner/configs/llama/llama3_8b_instruct/,如下图所示:

其中里面的内容如下:
# Copyright (c) OpenMMLab. All rights reserved.
import torch
from datasets import load_dataset
from mmengine.dataset import DefaultSampler
from mmengine.hooks import (
CheckpointHook,
DistSamplerSeedHook,
IterTimerHook,
LoggerHook,
ParamSchedulerHook,
)
from mmengine.optim import AmpOptimWrapper, CosineAnnealingLR, LinearLR
from peft import LoraConfig
from torch.optim import AdamW
from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
from xtuner.dataset import process_hf_dataset
from xtuner.dataset.collate_fns import default_collate_fn
from xtuner.dataset.map_fns import template_map_fn_factory
from xtuner.engine.hooks import (
DatasetInfoHook,
EvaluateChatHook,
VarlenAttnArgsToMessageHubHook,
)
from xtuner.engine.runner import TrainLoop
from xtuner.model import SupervisedFinetune
from xtuner.parallel.sequence import SequenceParallelSampler
from xtuner.utils import PROMPT_TEMPLATE
#######################################################################
# PART 1 Settings #
#######################################################################
# Model
pretrained_model_name_or_path = "/root/autodl-tmp/aiLearn/model/BAAI/Finance-llama3_1_8B_instruct"
use_varlen_attn = False
# Data
data_path = "/root/autodl-tmp/traintool/data/target_data.json"
prompt_template = PROMPT_TEMPLATE.llama3_chat
max_length = 512
pack_to_max_length = True
# parallel
sequence_parallel_size = 1
# Scheduler & Optimizer
batch_size = 6 # per_device
accumulative_counts = 16
accumulative_counts *= sequence_parallel_size
dataloader_num_workers = 4
max_epochs = 1000
optim_type = AdamW
lr = 2e-4
betas = (0.9, 0.999)
weight_decay = 0
max_norm = 1 # grad clip
warmup_ratio = 0.03
# Save
save_steps = 500
save_total_limit = 2 # Maximum checkpoints to keep (-1 means unlimited)
# Evaluate the generation performance during the training
evaluation_freq = 500
SYSTEM = ""
evaluation_inputs = ["两千块钱买什么新车好?", "出生证丢了怎么证明自己出生了","鸡柳是鸡身上哪个部位啊?","我25岁 我爸50岁 那我爸两岁就生了我啦?","为什么没人说ABCD型的成语?",]
#######################################################################
# PART 2 Model & Tokenizer #
#######################################################################
tokenizer = dict(
type=AutoTokenizer.from_pretrained,
pretrained_model_name_or_path=pretrained_model_name_or_path,
trust_remote_code=True,
padding_side="right",
)
model = dict(
type=SupervisedFinetune,
use_varlen_attn=use_varlen_attn,
llm=dict(
type=AutoModelForCausalLM.from_pretrained,
pretrained_model_name_or_path=pretrained_model_name_or_path,
trust_remote_code=True,
torch_dtype=torch.float16,
quantization_config=dict(
type=BitsAndBytesConfig,
load_in_4bit=True,
load_in_8bit=False,
llm_int8_threshold=6.0,
llm_int8_has_fp16_weight=False,
bnb_4bit_compute_dtype=torch.float16,
bnb_4bit_use_double_quant=True,
bnb_4bit_quant_type="nf4",
),
),
lora=dict(
type=LoraConfig,
r=64,
lora_alpha=16,
lora_dropout=0.1,
bias="none",
task_type="CAUSAL_LM",
),
)
#######################################################################
# PART 3 Dataset & Dataloader #
#######################################################################
train_dataset = dict(
type=process_hf_dataset,
dataset=dict(type=load_dataset, path="json", data_files=dict(train=data_path)),
tokenizer=tokenizer,
max_length=max_length,
template_map_fn=dict(type=template_map_fn_factory, template=prompt_template),
remove_unused_columns=True,
shuffle_before_pack=True,
pack_to_max_length=pack_to_max_length,
use_varlen_attn=use_varlen_attn,
)
sampler = SequenceParallelSampler if sequence_parallel_size > 1 else DefaultSampler
train_dataloader = dict(
batch_size=batch_size,
num_workers=dataloader_num_workers,
dataset=train_dataset,
sampler=dict(type=sampler, shuffle=True),
collate_fn=dict(type=default_collate_fn, use_varlen_attn=use_varlen_attn),
)
#######################################################################
# PART 4 Scheduler & Optimizer #
#######################################################################
# optimizer
optim_wrapper = dict(
type=AmpOptimWrapper,
optimizer=dict(type=optim_type, lr=lr, betas=betas, weight_decay=weight_decay),
clip_grad=dict(max_norm=max_norm, error_if_nonfinite=False),
accumulative_counts=accumulative_counts,
loss_scale="dynamic",
dtype="float16",
)
# learning policy
# More information: https://github.com/open-mmlab/mmengine/blob/main/docs/en/tutorials/param_scheduler.md # noqa: E501
param_scheduler = [
dict(
type=LinearLR,
start_factor=1e-5,
by_epoch=True,
begin=0,
end=warmup_ratio * max_epochs,
convert_to_iter_based=True,
),
dict(
type=CosineAnnealingLR,
eta_min=0.0,
by_epoch=True,
begin=warmup_ratio * max_epochs,
end=max_epochs,
convert_to_iter_based=True,
),
]
# train, val, test setting
train_cfg = dict(type=TrainLoop, max_epochs=max_epochs)
#######################################################################
# PART 5 Runtime #
#######################################################################
# Log the dialogue periodically during the training process, optional
custom_hooks = [
dict(type=DatasetInfoHook, tokenizer=tokenizer),
dict(
type=EvaluateChatHook,
tokenizer=tokenizer,
every_n_iters=evaluation_freq,
evaluation_inputs=evaluation_inputs,
system=SYSTEM,
prompt_template=prompt_template,
),
]
if use_varlen_attn:
custom_hooks += [dict(type=VarlenAttnArgsToMessageHubHook)]
# configure default hooks
default_hooks = dict(
# record the time of every iteration.
timer=dict(type=IterTimerHook),
# print log every 10 iterations.
logger=dict(type=LoggerHook, log_metric_by_epoch=False, interval=10),
# enable the parameter scheduler.
param_scheduler=dict(type=ParamSchedulerHook),
# save checkpoint per `save_steps`.
checkpoint=dict(
type=CheckpointHook,
by_epoch=False,
interval=save_steps,
max_keep_ckpts=save_total_limit,
),
# set sampler seed in distributed evrionment.
sampler_seed=dict(type=DistSamplerSeedHook),
)
# configure environment
env_cfg = dict(
# whether to enable cudnn benchmark
cudnn_benchmark=False,
# set multi process parameters
mp_cfg=dict(mp_start_method="fork", opencv_num_threads=0),
# set distributed parameters
dist_cfg=dict(backend="nccl"),
)
# set visualizer
visualizer = None
# set log level
log_level = "INFO"
# load from which checkpoint
load_from = None
# whether to resume training from the loaded checkpoint
resume = False
# Defaults to use random seed and disable `deterministic`
randomness = dict(seed=None, deterministic=False)
# set log processor
log_processor = dict(by_epoch=False)
我的json格式的数据集样式如下所示:
[
{
"conversation": [
{
"input": "只剩一个心脏了还能活吗?",
"output": "能,人本来就只有一个心脏。"
}
]
},
{
"conversation": [
{
"input": "爸爸再婚,我是不是就有了个新娘?",
"output": "不是的,你有了一个继母。\"新娘\"是指新婚的女方,而你爸爸再婚,他的新婚妻子对你来说是继母。"
}
]
},
{
"conversation": [
{
"input": "樟脑丸是我吃过最难吃的硬糖有奇怪的味道怎么还有人买",
"output": "樟脑丸并不是硬糖,而是一种常见的驱虫药,不能食用。虽然它的味道可能不太好,但是由于其有效的驱虫效果,所以仍然有很多人会购买。"
}
]
},
{
"conversation": [
{
"input": "马上要上游泳课了,昨天洗的泳裤还没干,怎么办",
"output": "游泳时泳裤本来就会湿,不用晾干。"
}
]
},
{
"conversation": [
{
"input": "为什么没人说ABCD型的成语?🤔",
"output": "这是因为中文成语一般都是四字成语,每个字都有其特定的含义,四个字合在一起构成一个完整的意思。而ABCD型的成语最常见,所以大家不会刻意强调。"
}
]
}
]
(2)修改配置文件中的参数值
我修改了配置文件中的以下几个参数:
# PART 1 Settings #
pretrained_model_name_or_path:该参数是需要指明模型的目录
data_path:该参数是需要指明数据集的目录
prompt_template:训练时使用的对话模版,在xtuner/xtuner/utils/templates.py 源代码中寻找匹配你自己的大模型的对话模版,比如我的模型是BAAI/Finance-llama3_1_8B_instruct,我配置的对话模版是 PROMPT_TEMPLATE.llama3_chat。
max_length:默认的是2048,我设置的512
batch_size:批次数量,这个参数需要根据自己的服务器GPU性能参数进行设置
max_epochs:最大训练轮次,这个也是需要根据自己的情况进行设置,我是设置的1000
evaluation_inputs:这个是微调训练后xtuner帮助评估效果的问题示例,可以自行设置多个问题,方便在日志信息中进行主观的评估模型的训练效果。

# PART 2 Model & Tokenizer #
中只有两个地方需要根据你自己看是否修改(以下标识红线的地方),其他地方就不需要修改了

配置文件中默认使用的是 4位量化微调,如果需要使用8位的量化微调,就设置 load_in_4bit=False,load_in_8bit=True 就行。

量化微调的 LoRA 秩(r=64) 这个参数根据自己的情况进行设置,一般是设置32-64之间,LoRA 缩放系数(lora_alpha=16)这个参数一般是设置成 LoRA 秩 的 2倍,比如,r=64,那么一般lora_alpha=128 这样设置。这两个参数可以根据自己的实际情况进行修改,如果不知道改成啥,就按64 和 128 设置。
# PART 5 Runtime #
中有一个参数需要提一下,就是
# load from which checkpoint
load_from = None

该参数的作用是从上一次保存的权重参数继续训练,该参数一般用于训练过程中服务中断了,模型还需要继续训练的场景,设置的值为报错的权重参数的路径,如下图所示:

需要注意的是,load_from 的值是一个字符串类型的路径值,需要使用双引号""把路径括起来。
5. 执行微调训练命令
在终端执行下面的命令:
xtuner train /root/autodl-tmp/traintool/xtuner/xtuner/configs/llama/llama3_8b_instruct/llama3_8b_instruct_qlora_ruozhiba_e3.py
/root/autodl-tmp/traintool/xtuner/xtuner/configs/llama/llama3_8b_instruct/llama3_8b_instruct_qlora_ruozhiba_e3.py 这个路径是第4步中设置好的配置文件的路径
执行完命令后,检查一下是否能正常启动,并且开启另一个终端,使用nvitop检查GPU的占用情况,如果占用没到 90%,就把配置文件中的 batch_size 参数调大一点,尽量让GPU的占用到90%左右。
我的配置文件中的batch_size = 6,GPU占用为 82.5%,这种情况我的batch_size 可以调大一点。

检查以上情况没问题后,可以使用 nohup 命令让程序在后台自行运行
nohup xtuner train /root/autodl-tmp/traintool/xtuner/xtuner/configs/llama/llama3_8b_instruct/llama3_8b_instruct_qlora_ruozhiba_e3.py &
训练启动后,会在 xtuner 目录下 生成一个 work_dirs 的目录,用来保存日志信息和 训练后的权重信息,如下图所示:

20250412_193005.json 文件中的内容如下所示:
{"lr": 0.0001939740336516273, "data_time": 0.011908245086669923, "loss": 0.0057998948963358995, "time": 2.2731671571731566, "grad_norm": 0.014851417765021325, "iter": 6750, "memory": 18250, "step": 6750}
eval_outputs_iter_1999.txt 中内容如下所示:
Eval output 1:
<|begin_of_text|><|start_header_id|>user<|end_header_id|>
两千块钱买什么新车好?<|eot_id|><|start_header_id|>assistant<|end_header_id|>
如果非要回答,那可能只能是玩具车或者模型车。<|eot_id|>
Eval output 2:
<|begin_of_text|><|start_header_id|>user<|end_header_id|>
出生证丢了怎么证明自己出生了<|eot_id|><|start_header_id|>assistant<|end_header_id|>
可以通过其他官方文件来证明,例如护照、身份证、驾驶证等。这些文件都需要出生证明来申请,因此它们也可以作为证明自己出生的证据。此外,医院的出生记录、学校的入学记录、家庭照片等也可以作为间接证据。<|eot_id|>
Eval output 3:
<|begin_of_text|><|start_header_id|>user<|end_header_id|>
鸡柳是鸡身上哪个部位啊?<|eot_id|><|start_header_id|>assistant<|end_header_id|>
"鸡柳"并不是鸡上的实际部位,而是一种烹饪方式。"柳"在这里是比喻的意思,表示鸡肉被切成长条状,然后进行烹饪。所以,"鸡柳"其实是鸡肉切成长条状的版本。<|eot_id|>
6. 转换训练好的权重模型格式为HuggingFace 模型
使用 xtuner 工具训练后会自动保存成 PTH 模型,例如 iter_7000.pth,我们需要利用 xtuner convert pth_to_hf 将其转换为 HuggingFace 模型,以便于后续测试或合并模型权重。
xtuner convert pth_to_hf ${FINETUNE_CFG} ${PTH_PATH} ${SAVE_PATH}
示例:
xtuner convert pth_to_hf /root/autodl-tmp/traintool/xtuner/xtuner/configs/llama/llama3_8b_instruct/llama3_8b_instruct_qlora_ruozhiba_e3.py /root/autodl-tmp/traintool/xtuner/work_dirs/llama3_8b_instruct_qlora_ruozhiba_e3/iter_7500.pth /root/autodl-tmp/traintool/xtuner/work_dirs/llama3_8b_instruct_qlora_7500
转换完成后,终端会打印如下日志信息:

同时xtuner/work_dirs 目录下会生成对应的HuggingFace格式的文件:

7.对训练保存的权重进行对话测试
我们一般对大模型训练一段时间后,需要对训练后的结果做一个训练效果测试,可以使用 xtuner chat 命令在终端上对Hugging Face 格式的权重进行对话测试:
xtuner chat ${NAME_OR_PATH_TO_LLM} --adapter {NAME_OR_PATH_TO_ADAPTER} --prompt-template ${PROMPT_TEMPLATE} [optional arguments]
示例:xtuner chat /root/autodl-tmp/aiLearn/model/BAAI/Finance-llama3_1_8B_instruct --adapter /root/autodl-tmp/traintool/xtuner/work_dirs/llama3_8b_instruct_qlora_7500 --prompt-template llama3_chat
测试效果示意图如下:


从对话测试中可以看出,回答的答案和数据集设定的答案还是有差距(回答中部分是数据集中的答案,部分是原有模型自己的思考答案),说明还需要继续训练。
8.合并训练好的模型参数
利用 xtuner convert merge 命令合并模型权重,用于后续部署到 vLLM 或 LMDeploy 推理部署框架上进行评测推理。
xtuner convert merge ${LLM} ${LLM_ADAPTER} ${SAVE_PATH}
示例:
xtuner convert merge /root/autodl-tmp/aiLearn/model/BAAI/Finance-llama3_1_8B_instruct /root/autodl-tmp/traintool/xtuner/work_dirs/llama3_8b_instruct_qlora_7500 /root/autodl-tmp/aiLearn/model/BAAI/Finance-llama3_1_8B_instruct-merged
合并成功后终端会打印如下日志信息:

对应的model/BAAI/也会生成合并后的模型权重文件:

9.部署训练合并后的模型到LMDeploy 平台上进行推理评测
该步骤根据自己的情况也可以部署到vLLM平台上进行效果评测。
关于LMDeploy 和 vLLM平台的模型部署操作,在此就不再赘述了,有需要的可以在对应的官网上查看部署模型启动服务操作,需要注意的是部署的时候可能需要转换一下对话模版的格式。
到此,使用xtuner工具进行微调训练的操作流程步骤就结束了,后续如果有需要使用多卡训练的小伙伴可以在 xtuner train 命令前面增加 NPROC_PER_NODE=${GPU_NUM} 参数,GPU_NUM 是指你的GPU数量, 后面再增加 --deepspeed deepspeed_zero2 参数,具体可参考 DeepSpeed — XTuner 0.2.0rc0 文档 上面的操作说明。
参考文档:
1219



被折叠的 条评论
为什么被折叠?



