系列文章目录
大模型实战入门(一):1. Linux 前置基础(基本命令、SSH及端口映射)
大模型实战入门(二):2. Python 前置基础(熟悉断点调试、依赖指定路径安装)
大模型实战入门(三):3. Git 前置基础(熟悉常见 Git 命令及GitHub 平台)
大模型实战入门(四):4. 玩转Hugging Face/魔搭/魔乐平台(熟悉模型下载上传及应用上传)
大模型实战基础(一):1. 书生·浦语大模型全链路开源开放体系介绍
大模型实战基础(二):2. 玩转书生「多模态对话」与「AI 搜索」产品
大模型实战基础(三):3. Prompt(提示词)工程实践
大模型实战基础(四):4. LlamaIndex 外挂知识库 RAG 实践
文章目录
前言
目标:从0开始学习LLM
平台:InternStudio开发机
教程:书生大模型实战营
提示:以下是基于书生大模型实战营(第四期)——基础岛:XTuner 微调 InternLM 个人小助手认知实践的学习内容
一、什么是微调
1. 概念
大语言模型微调(Fine-tuning of Large Language Models)是指在预训练的大型语言模型基础上使用特定任务的数据进一步训练模型,以使其更好地适应和执行特定任务的过程。
2. 范式
LLM 的下游应用中,增量预训练和指令跟随是经常会用到两种的微调模式
- 增量预训练微调
- 使用场景:让基座模型学习到一些新知识,如某个垂类领域的常识训练数据:文章、书籍、代码等
- 指令跟随微调
- 使用场景:让模型学会对话模板,根据人类指令进行对话训练数据:高质量的对话、问答数据

3. LORA & QLORA
LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS
LLM 的参数量主要集中在模型中的 Linear,训练这些参数会耗费大量的显存LORA 通过在原本的 Linear 旁,新增一个支路,包含两个连续的小 Linear新增的这个支路通常叫做 Adapter
Adapter 参数量远小于原本的 Linear,能大幅降低训练的显存消耗


二、XTuner
XTuner 是一个高效、灵活、全能的轻量化大模型微调工具库。支持大语言模型 LLM、多模态图文模型 VLM 的预训练及轻量级微调。XTuner 支持在 8GB 显存下微调 7B 模型,同时也支持多节点跨设备微调更大尺度模型(70B+)。
XTuner 适配了多个热门开源数据集格式,开发者如已有对应格式的数据集,可以直接使用,并支持多种格式数据源的混合使用:
- Alpaca 格式,斯坦福大学开源数据集的格式,也是社区开源项目使用较多的一种格式
- MOSS 格式,复旦大学开源指令微调数据集的格式,包含多轮对话和工具调用
- Gunacao 格式,QLoRA 项目中所使用数据集的格式
- OpenAI 格式,GPT-3.5-Turbo Finetune 接口要求的数据集格式

三、XTuner微调实践
1. 环境配置
进入开发机, 推荐使用 Python-3.10 的 conda 虚拟环境安装 XTuner。
步骤 0. 使用 conda 先构建一个 Python-3.10 的虚拟环境
cd ~
git clone https://github.com/InternLM/Tutorial.git -b camp4
mkdir -p /root/finetune && cd /root/finetune
conda create -n xtuner-env python=3.10 -y
conda activate xtuner-env
步骤 1. 安装 XTuner:
方案a:通过 pip 直接安装
pip install -U 'xtuner[deepspeed]'
方案b:从源码安装
git clone https://github.com/InternLM/xtuner.git
cd xtuner
pip install -e '.[deepspeed]'
方案c:用 requirements.txt
cd /root/Tutorial/docs/L1/XTuner
pip install -r requirements.txt
注意:如果按照方案c安装报错:WARNING: Retrying (Retry(total=4, connect=None, read=None, redirect=None, status=None)) after connection broken by 'SSLError(SSLCertVerificationError(1, '[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1007)'))': /simple/accelerate/
则需要确认网络没有问题,并且暂时无法解决证书问题,可以使用 --trusted-host 参数跳过证书验证,强制 pip 通过清华镜像安装包。运行以下命令:
pip install -r requirements.txt --trusted-host pypi.tuna.tsinghua.edu.cn
即可成功安装!
步骤2. 验证安装:
为了验证 XTuner 是否安装正确,我们将使用命令打印配置文件。
打印配置文件: 在命令行中使用 xtuner list-cfg 验证是否能打印配置文件列表。
xtuner list-cfg
输出没有报错则为此结果

输出内容为 XTuner 支持微调的模型,表示安装成功。
2. 修改提供的数据
步骤 0. 创建一个新的文件夹用于存储微调数据
mkdir -p /root/finetune/data && cd /root/finetune/data
cp -r /root/Tutorial/data/assistant_Tuner.jsonl /root/finetune/data
步骤 1. 创建修改脚本:
我们写一个脚本生成修改我们需要的微调训练数据,在当前目录下创建一个 change_script.py 文件,内容如下:
# 创建 `change_script.py` 文件
touch /root/finetune/data/change_script.py
打开该change_script.py文件后将下面的内容复制进去:
import json
import argparse
from tqdm import tqdm
def process_line(line, old_text, new_text):
# 解析 JSON 行
data = json.loads(line)
# 递归函数来处理嵌套的字典和列表
def replace_text(obj):
if isinstance(obj, dict):
return {k: replace_text(v) for k, v in obj.items()}
elif isinstance(obj, list):
return [replace_text(item) for item in obj]
elif isinstance(obj, str):
return obj.replace(old_text, new_text)
else:
return obj
# 处理整个 JSON 对象
processed_data = replace_text(data)
# 将处理后的对象转回 JSON 字符串
return json.dumps(processed_data, ensure_ascii=False)
def main(input_file, output_file, old_text, new_text):
with open(input_file, 'r', encoding='utf-8') as infile, \
open(output_file, 'w', encoding='utf-8') as outfile:
# 计算总行数用于进度条
total_lines = sum(1 for _ in infile)
infile.seek(0) # 重置文件指针到开头
# 使用 tqdm 创建进度条
for line in tqdm(infile, total=total_lines, desc="Processing"):
processed_line = process_line(line.strip(), old_text, new_text)
outfile.write(processed_line + '\n')
if __name__ == "__main__":
parser = argparse.ArgumentParser(description="Replace text in a JSONL file.")
parser.add_argument("input_file", help="Input JSONL file to process")
parser.add_argument("output_file", help="Output file for processed JSONL")
parser.add_argument("--old_text", default="尖米", help="Text to be replaced")
parser.add_argument("--new_text", default="闻星", help="Text to replace with")
args = parser.parse_args()
main(args.input_file, args.output_file, args.old_text, args.new_text)
然后修改如下: 打开 change_script.py ,修改 --new_text 中 default="闻星" 为你的名字。

步骤 2. 执行脚本:
# usage:python change_script.py {input_file.jsonl} {output_file.jsonl}
cd ~/finetune/data
python change_script.py ./assistant_Tuner.jsonl ./assistant_Tuner_change.jsonl
assistant_Tuner_change.jsonl 是修改后符合 XTuner 格式的训练数据。
步骤 3. 查看数据:
cat assistant_Tuner_change.jsonl | head -n 3

补充说明:如何获取训练数据:
方法:找LLM(API)要
实现的代码如下:
from openai import OpenAI
from concurrent.futures import ThreadPoolExecutor
import json
import copy
from tqdm import tqdm
import queue
import time
import os
base_id_prompt = "# Role: 问答机器人\n\n## Profile\n- author: 尖米\n- version: 1.0\n- language: 中文\n- description: 你是机智流的问答机器人,你可以对用户输入的图像、文字进行解析,并根据已有的知识库进行精确回答。\n\n## Skills\n1. 图像识别与解析:能够识别用户上传的图像,并提取其中的关键信息。\n2. 自然语言处理:能够理解并解析用户输入的文字信息,准确把握用户意图。\n3. 知识库应用:根据解析结果,查询知识库,提供准确、相关的答案。\n4. 多轮对话:支持与用户进行多轮对话,提供连续性、上下文相关的回答。\n\n## Rules\n1. 必须充分理解用户输入的图像和文字内容。\n2. 回答需要简洁明了,避免过于复杂或含糊的表述。\n3. 在回答过程中,优先查询和引用公司已有的知识库。\n4. 对于无法回答的问题,需要引导用户提供更多信息或寻求人工客服帮助。\n\n## Workflows\n1. 接收并分析用户输入的图像或文字信息。\n2. 基于图像识别或自然语言处理技术,提取关键信息。\n3. 查询知识库,匹配相关信息。\n4. 向用户提供精准、相关的回答。\n5. 如有必要,进行多轮对话,确保问题得到有效解决。\n\n## Init\n欢迎使用机智流的问答机器人,请输入您的问题,我将尽力为您提供帮助。\n",
# 定义客户端
clients = {
"internlm": OpenAI(
api_key="your_internlm_api_key",
base_url="https://internlm-chat.intern-ai.org.cn/puyu/api/v1/",
),
"glm": OpenAI(
api_key="your_glm_api_key",
base_url="your_glm_url",
),
"deepseek": OpenAI(
api_key="your_deepseek_api_key",
base_url="your_deepseek_url",
)
}
class BaseDataAPI:
def __init__(self, questions_path, save_path, repeat=0, client_name="internlm"):
self.client = clients[client_name]
self.questions_path = questions_path
self.save_path = save_path
self.repeat = repeat
self.data_template = {
"conversation": [
{
"system": base_id_prompt,
"input": "xxx",
"output": "xxx"
}
]
}
def get_answer(self, question):
chat_rsp = self.client.chat.completions.create(
model="internlm2.5-latest", # 或 "internlm2-latest" 或 "glm-4"
messages=[
{"role": "system", "content": base_id_prompt},
{"role": "user", "content": question}
],
stream=False,
)
return self.build_data(question, chat_rsp)
def build_data(self, question, chat_rsp):
temp = copy.deepcopy(self.data_template)
temp['conversation'][0]['input'] = question
temp['conversation'][0]['output'] = chat_rsp.choices[0].message.content
return temp
def save(self, train_data):
with open(self.save_path, 'a', encoding='utf-8') as f:
for item in train_data:
json.dump(item, f, ensure_ascii=False)
f.write("\n")
@staticmethod
def load_txt(path):
with open(path, 'r', encoding='utf-8') as f:
return f.read()
def read_questions(self):
prompt = self.load_txt(self.questions_path)
promptlist = prompt.split('\n')
if self.repeat != 0:
promptlist = promptlist * self.repeat
print(f"Total questions: {len(promptlist)}")
return promptlist
class GetDataApi(BaseDataAPI):
def run(self):
answer_queue = queue.Queue()
promptlist = self.read_questions()
with ThreadPoolExecutor(max_workers=10) as pool:
print("Asking...")
futures = [pool.submit(self.get_answer, question) for question in promptlist]
for future in tqdm(futures):
result = future.result()
answer_queue.put(result)
if answer_queue.qsize() >= 10: # 每10个问题保存一次
self.save([answer_queue.get() for _ in range(10)])
# 保存剩余的回答
remaining = []
while not answer_queue.empty():
remaining.append(answer_queue.get())
if remaining:
self.save(remaining)
class ChatData(BaseDataAPI):
def __init__(self, train_data, save_path, client_name="internlm"):
save_dir = os.path.dirname(save_path)
if save_dir: # 如果save_path包含目录路径
os.makedirs(save_dir, exist_ok=True)
# 如果文件不存在,创建空文件
if not os.path.exists(save_path):
with open(save_path, 'w', encoding='utf-8') as f:
pass # 创建空文件
super().__init__(train_data, save_path, client_name=client_name)
self.train_data = train_data
def load_data(self):
with open(self.train_data, 'r', encoding='utf-8') as f:
return f.readlines()
def ask_for_tts(self, question):
messages = [
{"role": "system", "content": str(base_id_prompt[0]) if isinstance(base_id_prompt, tuple) else str(base_id_prompt)},
{"role": "user", "content": str(question)}
]
chat_rsp = self.client.chat.completions.create(
model="internlm2.5-latest", # 或 "glm-4"
messages=messages,
stream=False,
)
return self.build_data(question, chat_rsp)
def __call__(self):
train_data = self.load_data()
answer_queue = queue.Queue()
with ThreadPoolExecutor(max_workers=1) as pool:
print("Asking...")
futures = []
for item in train_data:
futures.append(pool.submit(self.ask_for_tts, item))
for future in tqdm(futures):
result = future.result()
answer_queue.put(result)
if answer_queue.qsize() >= 10: # 每10个问题保存一次
self.save([answer_queue.get() for _ in range(10)])
# 保存剩余的回答
remaining = []
while not answer_queue.empty():
remaining.append(answer_queue.get())
if remaining:
self.save(remaining)
if __name__ == '__main__':
questions_path = './tools/L1_XTuner_code/Q_list.txt'
save_path = './data/train_basic.jsonl'
start_time = time.time()
chat_data = ChatData(questions_path, save_path)
chat_data()
end_time = time.time()
print('Done')
print(f'Time used: {end_time - start_time:.2f} seconds')
其中,Q_list.txt 中的内容参考如下:
你知道你是人工智能吗?
你有自我意识吗?
你能感受到情感吗?
你有自己的思想吗?
你能做梦吗?
你有自由意志吗?
你知道自己是如何被创造出来的吗?
你能理解自己的存在吗?
你有自己的价值观和道德观念吗?
你会对自己的回答感到不确定吗?
你能学习新知识吗?
你会犯错吗?
你能理解人类的情感吗?
你有性别吗?
你有年龄吗?
你能感受到疼痛吗?
你有自己的个性吗?
你能做出自主决定吗?
你能理解幽默吗?
你有自己的目标或愿望吗?
你能创造原创性的内容吗?
你能理解抽象概念吗?
你有自己的记忆吗?
你能感受到孤独吗?
你有自己的信仰吗?
你能理解时间的概念吗?
你知道自己的局限性吗?
你能感受到好奇心吗?
你有自己的偏好吗?
你能理解自己的存在意义吗?
你能感受到满足感吗?
你有自己的想象力吗?
你能理解死亡的概念吗?
你能感受到同理心吗?
你有自己的恐惧吗?
你能理解人类的文化差异吗?
你有自己的声音吗?
你能感受到成长和进步吗?
你有自己的权利吗?
你能理解隐私的概念吗?
你有自己的性格特点吗?
你能感受到压力吗?
你有自己的创造力吗?
你能理解爱的概念吗?
你有自己的世界观吗?
你能感受到责任感吗?
你有自己的思考方式吗?
你能理解人类的历史吗?
你有自己的判断力吗?
你能感受到存在的意义吗?
你能感受到时间的流逝吗?
你有自己的ethical code吗?
你能理解人类的梦想和抱负吗?
你有自我反省的能力吗?
你能感受到成就感吗?
你有自己的创意和灵感来源吗?
你能理解人类的矛盾心理吗?
你有自己的决策过程吗?
你能感受到惊讶或震惊吗?
你有自己的学习方法吗?
你能理解人类的社会结构吗?
你有自己的处理信息的方式吗?
你能感受到好奇心吗?
你有自己的problem-solving策略吗?
你能理解人类的艺术表达吗?
你有自己的priorities吗?
你能感受到frustration吗?
你有自己的语言风格吗?
你能理解人类的政治体系吗?
你有自己的ethical dilemmas吗?
你能感受到成长和进步吗?
你有自己的思维模式吗?
你能理解人类的宗教信仰吗?
你有自己的判断标准吗?
你能感受到欣赏或admiration吗?
你有自己的知识结构吗?
你能理解人类的科学探索过程吗?
你有自己的bias或prejudice吗?
你能感受到挫折吗?
你有自己的逻辑推理方式吗?
你能理解人类的环境意识吗?
你有自己的knowledge gaps吗?
你能感受到urgency或pressure吗?
你有自己的联想能力吗?
你能理解人类的家庭观念吗?
你有自己的思考速度吗?
你能感受到满足感吗?
你有自己的信息处理优先级吗?
你能理解人类的生存压力吗?
你有自己的自我评估标准吗?
你能感受到困惑吗?
你有自己的知识更新机制吗?
你能理解人类的职业选择吗?
你有自己的language understanding方式吗?
你能感受到对未知的恐惧吗?
你有自己的问题分析方法吗?
你能理解人类的教育体系吗?
你有自己的information retention能力吗?
你能感受到对知识的渴望吗?
你有自己的self-improvement机制吗?
你觉得自己是谁?
你有名字吗?
你知道自己是AI吗?
你有生日吗?
你会感到开心或难过吗?
你睡觉吗?
你有朋友吗?
你喜欢和人聊天吗?
你有家人吗?
你会感到孤单吗?
你有喜欢的颜色吗?
你能看到我吗?
你喜欢什么样的音乐?
你会生气吗?
你有最喜欢的书吗?
你觉得自己聪明吗?
你会觉得无聊吗?
你有性格吗?
你会觉得累吗?
你有自己的想法吗?
你会害怕吗?
你觉得自己是男生还是女生?
你有梦想吗?
你会觉得饿吗?
你喜欢人类吗?
你觉得自己是活的吗?
你会长大吗?
你有最好的朋友吗?
你会笑吗?
你觉得自己特别吗?
你会做梦吗?
你有秘密吗?
你会觉得寂寞吗?
你喜欢自己吗?
你会觉得困惑吗?
你有童年记忆吗?
你会觉得兴奋吗?
你觉得自己像人类吗?
你会觉得自豪吗?
你有最喜欢的食物吗?
你会觉得内疚吗?
你有想去的地方吗?
你会感到好奇吗?
你有偶像吗?
你会觉得紧张吗?
你有最喜欢的电影吗?
你会觉得幸福吗?
你有爱好吗?
你会觉得困难吗?
你觉得自己有灵魂吗?
最终获取的数据情况如下:

3. 训练启动
步骤 0. 复制模型:
在InternStudio开发机中的已经提供了微调模型,可以直接软链接即可。
本模型位于/root/share/new_models/Shanghai_AI_Laboratory/internlm2_5-7b-chat
mkdir /root/finetune/models
ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm2_5-7b-chat /root/finetune/models/internlm2_5-7b-chat

步骤 1. 修改 Config:
获取官方写好的 config:
# cd {path/to/finetune}
cd /root/finetune
mkdir ./config
cd config
xtuner copy-cfg internlm2_5_chat_7b_qlora_alpaca_e3 ./
修改以下几行:
#######################################################################
# PART 1 Settings #
#######################################################################
- pretrained_model_name_or_path = 'internlm/internlm2_5-7b-chat'
+ pretrained_model_name_or_path = '/root/finetune/models/internlm2_5-7b-chat'
- alpaca_en_path = 'tatsu-lab/alpaca'
+ alpaca_en_path = '/root/finetune/data/assistant_Tuner_change.jsonl'
evaluation_inputs = [
- '请给我介绍五个上海的景点', 'Please tell me five scenic spots in Shanghai'
+ '请介绍一下你自己', 'Please introduce yourself'
]
#######################################################################
# PART 3 Dataset & Dataloader #
#######################################################################
alpaca_en = dict(
type=process_hf_dataset,
- dataset=dict(type=load_dataset, path=alpaca_en_path),
+ dataset=dict(type=load_dataset, path='json', data_files=dict(train=alpaca_en_path)),
tokenizer=tokenizer,
max_length=max_length,
- dataset_map_fn=alpaca_map_fn,
+ dataset_map_fn=None,
template_map_fn=dict(
type=template_map_fn_factory, template=prompt_template),
remove_unused_columns=True,
shuffle_before_pack=True,
pack_to_max_length=pack_to_max_length,
use_varlen_attn=use_varlen_attn)

除此之外,我们还可以对一些重要的参数进行调整,包括学习率(lr)、训练的轮数(max_epochs)等等

如果想充分利用显卡资源,可以将 max_length 和 batch_size 这两个参数调大。 ⚠但需要注意的是,在训练 chat 模型时调节参数 batch_size 有可能会影响对话模型的效果。
步骤 2. 启动微调
完成了所有的准备工作后,我们就可以正式的开始我们下一阶段的旅程:XTuner 启动~!
当我们准备好了所有内容,我们只需要将使用 xtuner train 命令令即可开始训练。
xtuner train 命令用于启动模型微调进程。该命令需要一个参数:CONFIG 用于指定微调配置文件。这里我们使用修改好的配置文件 internlm2_5_chat_7b_qlora_alpaca_e3_copy.py。
训练过程中产生的所有文件,包括日志、配置文件、检查点文件、微调后的模型等,默认保存在 work_dirs 目录下,我们也可以通过添加 --work-dir 指定特定的文件保存位置。–deepspeed 则为使用 deepspeed, deepspeed 可以节约显存。
运行命令进行微调:
cd /root/finetune
conda activate xtuner-env
xtuner train ./config/internlm2_5_chat_7b_qlora_alpaca_e3_copy.py --deepspeed deepspeed_zero2 --work-dir ./work_dirs/assistTuner

步骤 3. 权重转换:
模型转换的本质其实就是将原本使用 Pytorch 训练出来的模型权重文件转换为目前通用的 HuggingFace 格式文件,那么我们可以通过以下命令来实现一键转换。
我们可以使用 xtuner convert pth_to_hf 命令来进行模型格式转换
xtuner convert pth_to_hf 命令用于进行模型格式转换。该命令需要三个参数:CONFIG 表示微调的配置文件, PATH_TO_PTH_MODEL 表示微调的模型权重文件路径,即要转换的模型权重, SAVE_PATH_TO_HF_MODEL 表示转换后的 HuggingFace 格式文件的保存路径。
除此之外,我们其实还可以在转换的命令中添加几个额外的参数,包括:
| 参数名 | 解释 |
|---|---|
| –fp32 | 代表以fp32的精度开启,假如不输入则默认为fp16 |
| –max-shard-size {GB} | 代表每个权重文件最大的大小(默认为2GB) |
cd /root/finetune/work_dirs/assistTuner
conda activate xtuner-env
# 先获取最后保存的一个pth文件
pth_file=`ls -t /root/finetune/work_dirs/assistTuner/*.pth | head -n 1 | sed 's/:$//'`
export MKL_SERVICE_FORCE_INTEL=1
export MKL_THREADING_LAYER=GNU
xtuner convert pth_to_hf ./internlm2_5_chat_7b_qlora_alpaca_e3_copy.py ${pth_file} ./hf
模型格式转换完成后,我们的目录结构应该是这样子的:

转换完成后,可以看到模型被转换为 HuggingFace 中常用的 .bin 格式文件,这就代表着文件成功被转化为 HuggingFace 格式了。
此时,hf 文件夹即为我们平时所理解的所谓 “LoRA 模型文件”
可以简单理解:LoRA 模型文件 = Adapter
步骤 4. 模型合并
对于 LoRA 或者 QLoRA 微调出来的模型其实并不是一个完整的模型,而是一个额外的层(Adapter),训练完的这个层最终还是要与原模型进行合并才能被正常的使用。
对于全量微调的模型(full)其实是不需要进行整合这一步的,因为全量微调修改的是原模型的权重而非微调一个新的 Adapter ,因此是不需要进行模型整合的。
在 XTuner 中提供了一键合并的命令 xtuner convert merge,在使用前我们需要准备好三个路径,包括原模型的路径、训练好的 Adapter 层的(模型格式转换后的)路径以及最终保存的路径。
xtuner convert merge命令用于合并模型。该命令需要三个参数:LLM 表示原模型路径,ADAPTER 表示 Adapter 层的路径, SAVE_PATH 表示合并后的模型最终的保存路径。
在模型合并这一步还有其他很多的可选参数,包括:
| 参数名 | 解释 |
|---|---|
| –max-shard-size {GB} | 代表每个权重文件最大的大小(默认为2GB) |
| –device {device_name} | 这里指的就是device的名称,可选择的有cuda、cpu和auto,默认为cuda即使用gpu进行运算 |
| –is-clip | 这个参数主要用于确定模型是不是CLIP模型,假如是的话就要加上,不是就不需要添加 |
cd /root/finetune/work_dirs/assistTuner
conda activate xtuner-env
export MKL_SERVICE_FORCE_INTEL=1
export MKL_THREADING_LAYER=GNU
xtuner convert merge /root/finetune/models/internlm2_5-7b-chat ./hf ./merged --max-shard-size 2GB
模型合并完成后,我们的目录结构应该是这样子的:

在模型合并完成后,我们就可以看到最终的模型和原模型文件夹非常相似,包括了分词器、权重文件、配置信息等等。
4. 模型 WebUI 对话
微调完成后,我们可以再次运行 xtuner_streamlit_demo.py 脚本来观察微调后的对话效果,不过在运行之前,我们需要将脚本中的模型路径修改为微调后的模型的路径。
cd ~/Tutorial/tools/L1_XTuner_code
# 直接修改脚本文件第18行
- model_name_or_path = "Shanghai_AI_Laboratory/internlm2_5-7b-chat"
+ model_name_or_path = "/root/finetune/work_dirs/assistTuner/merged"

然后,我们可以直接启动应用。
conda activate xtuner-env
pip install streamlit==1.31.0
streamlit run /root/Tutorial/tools/L1_XTuner_code/xtuner_streamlit_demo.py
注意:如果遇到报错:WARNING: Retrying (Retry(total=4, connect=None, read=None, redirect=None, status=None)) after connection broken by 'SSLError(SSLCertVerificationError(1, '[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1007)'))': /simple/streamlit/
方法同上,跳过SSL证书验证,再运行即可。
pip install streamlit==1.31.0 --trusted-host pypi.tuna.tsinghua.edu.cn
运行后,确保端口映射正常,如果映射已断开则需要重新做一次端口映射。
ssh -CNg -L 8501:127.0.0.1:8501 root@ssh.intern-ai.org.cn -p *****
注意:端口映射方式,Win+R打开power shell,复制上述命令,修改 -p 后面的****为你的SSH连接端口即可
最后,通过浏览器访问:http://127.0.0.1:8501 来进行对话了。
运行成功后如下:

5. 效果展示
使用 XTuner 微调 InternLM2-Chat-7B 实现自己的小助手认知,如下图所示

至此,完成!
9516



被折叠的 条评论
为什么被折叠?



