大模型实战基础(五):5. XTuner 微调 InternLM 个人小助手认知实践

XTuner 微调个人小助手认知实战 ​ 本次实践是在InternStudio平台上,运用XTuner工具来微调InterLM2-Chat-1.8B模型,实现模型身份认证问题的解决。具体来说,如下图,让模型在回答自身身份问题的时候,加入你想要的信息。 ​ 阅读详情

系列文章目录

大模型实战入门(一):1. Linux 前置基础(基本命令、SSH及端口映射)
大模型实战入门(二):2. Python 前置基础(熟悉断点调试、依赖指定路径安装)
大模型实战入门(三):3. Git 前置基础(熟悉常见 Git 命令及GitHub 平台)
大模型实战入门(四):4. 玩转Hugging Face/魔搭/魔乐平台(熟悉模型下载上传及应用上传)
大模型实战基础(一):1. 书生·浦语大模型全链路开源开放体系介绍
大模型实战基础(二):2. 玩转书生「多模态对话」与「AI 搜索」产品
大模型实战基础(三):3. Prompt(提示词)工程实践
大模型实战基础(四):4. LlamaIndex 外挂知识库 RAG 实践



前言

目标:从0开始学习LLM
平台:InternStudio开发机
教程:书生大模型实战营

提示:以下是基于书生大模型实战营(第四期)——基础岛:XTuner 微调 InternLM 个人小助手认知实践的学习内容

一、什么是微调

1. 概念

大语言模型微调(Fine-tuning of Large Language Models)是指在预训练的大型语言模型基础上使用特定任务的数据进一步训练模型,以使其更好地适应和执行特定任务的过程。

2. 范式

LLM 的下游应用中,增量预训练和指令跟随是经常会用到两种的微调模式

  • 增量预训练微调
    • 使用场景:让基座模型学习到一些新知识,如某个垂类领域的常识训练数据:文章、书籍、代码等
  • 指令跟随微调
    • 使用场景:让模型学会对话模板,根据人类指令进行对话训练数据:高质量的对话、问答数据

在这里插入图片描述

3. LORA & QLORA

LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS

LLM 的参数量主要集中在模型中的 Linear,训练这些参数会耗费大量的显存LORA 通过在原本的 Linear 旁,新增一个支路,包含两个连续的小 Linear新增的这个支路通常叫做 Adapter
Adapter 参数量远小于原本的 Linear,能大幅降低训练的显存消耗

在这里插入图片描述

在这里插入图片描述

二、XTuner

XTuner 是一个高效、灵活、全能的轻量化大模型微调工具库。支持大语言模型 LLM、多模态图文模型 VLM 的预训练及轻量级微调。XTuner 支持在 8GB 显存下微调 7B 模型,同时也支持多节点跨设备微调更大尺度模型(70B+)。

XTuner 适配了多个热门开源数据集格式,开发者如已有对应格式的数据集,可以直接使用,并支持多种格式数据源的混合使用:

  • Alpaca 格式,斯坦福大学开源数据集的格式,也是社区开源项目使用较多的一种格式
  • MOSS 格式,复旦大学开源指令微调数据集的格式,包含多轮对话和工具调用
  • Gunacao 格式,QLoRA 项目中所使用数据集的格式
  • OpenAI 格式,GPT-3.5-Turbo Finetune 接口要求的数据集格式

在这里插入图片描述

三、XTuner微调实践

1. 环境配置

进入开发机, 推荐使用 Python-3.10 的 conda 虚拟环境安装 XTuner。

步骤 0. 使用 conda 先构建一个 Python-3.10 的虚拟环境

cd ~
git clone https://github.com/InternLM/Tutorial.git -b camp4
mkdir -p /root/finetune && cd /root/finetune
conda create -n xtuner-env python=3.10 -y
conda activate xtuner-env

步骤 1. 安装 XTuner:

方案a:通过 pip 直接安装

pip install -U 'xtuner[deepspeed]'

方案b:从源码安装

git clone https://github.com/InternLM/xtuner.git
cd xtuner
pip install -e '.[deepspeed]'

方案c:用 requirements.txt

cd /root/Tutorial/docs/L1/XTuner
pip install -r requirements.txt

注意:如果按照方案c安装报错:WARNING: Retrying (Retry(total=4, connect=None, read=None, redirect=None, status=None)) after connection broken by 'SSLError(SSLCertVerificationError(1, '[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1007)'))': /simple/accelerate/

则需要确认网络没有问题,并且暂时无法解决证书问题,可以使用 --trusted-host 参数跳过证书验证,强制 pip 通过清华镜像安装包。运行以下命令:

pip install -r requirements.txt --trusted-host pypi.tuna.tsinghua.edu.cn

即可成功安装!

步骤2. 验证安装:
为了验证 XTuner 是否安装正确,我们将使用命令打印配置文件。
打印配置文件: 在命令行中使用 xtuner list-cfg 验证是否能打印配置文件列表。

xtuner list-cfg

输出没有报错则为此结果
在这里插入图片描述
输出内容为 XTuner 支持微调的模型,表示安装成功。

2. 修改提供的数据

步骤 0. 创建一个新的文件夹用于存储微调数据

mkdir -p /root/finetune/data && cd /root/finetune/data
cp -r /root/Tutorial/data/assistant_Tuner.jsonl  /root/finetune/data

步骤 1. 创建修改脚本:
我们写一个脚本生成修改我们需要的微调训练数据,在当前目录下创建一个 change_script.py 文件,内容如下:

# 创建 `change_script.py` 文件
touch /root/finetune/data/change_script.py

打开该change_script.py文件后将下面的内容复制进去:

import json
import argparse
from tqdm import tqdm

def process_line(line, old_text, new_text):
    # 解析 JSON 行
    data = json.loads(line)
    
    # 递归函数来处理嵌套的字典和列表
    def replace_text(obj):
        if isinstance(obj, dict):
            return {k: replace_text(v) for k, v in obj.items()}
        elif isinstance(obj, list):
            return [replace_text(item) for item in obj]
        elif isinstance(obj, str):
            return obj.replace(old_text, new_text)
        else:
            return obj
    
    # 处理整个 JSON 对象
    processed_data = replace_text(data)
    
    # 将处理后的对象转回 JSON 字符串
    return json.dumps(processed_data, ensure_ascii=False)

def main(input_file, output_file, old_text, new_text):
    with open(input_file, 'r', encoding='utf-8') as infile, \
         open(output_file, 'w', encoding='utf-8') as outfile:
        
        # 计算总行数用于进度条
        total_lines = sum(1 for _ in infile)
        infile.seek(0)  # 重置文件指针到开头
        
        # 使用 tqdm 创建进度条
        for line in tqdm(infile, total=total_lines, desc="Processing"):
            processed_line = process_line(line.strip(), old_text, new_text)
            outfile.write(processed_line + '\n')

if __name__ == "__main__":
    parser = argparse.ArgumentParser(description="Replace text in a JSONL file.")
    parser.add_argument("input_file", help="Input JSONL file to process")
    parser.add_argument("output_file", help="Output file for processed JSONL")
    parser.add_argument("--old_text", default="尖米", help="Text to be replaced")
    parser.add_argument("--new_text", default="闻星", help="Text to replace with")
    args = parser.parse_args()

    main(args.input_file, args.output_file, args.old_text, args.new_text)

然后修改如下: 打开 change_script.py ,修改 --new_text 中 default="闻星" 为你的名字。
在这里插入图片描述
步骤 2. 执行脚本:

# usage:python change_script.py {input_file.jsonl} {output_file.jsonl}
cd ~/finetune/data
python change_script.py ./assistant_Tuner.jsonl ./assistant_Tuner_change.jsonl

assistant_Tuner_change.jsonl 是修改后符合 XTuner 格式的训练数据。

步骤 3. 查看数据:

cat assistant_Tuner_change.jsonl | head -n 3

在这里插入图片描述

补充说明:如何获取训练数据:

方法:找LLM(API)要

实现的代码如下:

from openai import OpenAI
from concurrent.futures import ThreadPoolExecutor
import json
import copy
from tqdm import tqdm
import queue
import time
import os

base_id_prompt = "# Role: 问答机器人\n\n## Profile\n- author: 尖米\n- version: 1.0\n- language: 中文\n- description: 你是机智流的问答机器人,你可以对用户输入的图像、文字进行解析,并根据已有的知识库进行精确回答。\n\n## Skills\n1. 图像识别与解析:能够识别用户上传的图像,并提取其中的关键信息。\n2. 自然语言处理:能够理解并解析用户输入的文字信息,准确把握用户意图。\n3. 知识库应用:根据解析结果,查询知识库,提供准确、相关的答案。\n4. 多轮对话:支持与用户进行多轮对话,提供连续性、上下文相关的回答。\n\n## Rules\n1. 必须充分理解用户输入的图像和文字内容。\n2. 回答需要简洁明了,避免过于复杂或含糊的表述。\n3. 在回答过程中,优先查询和引用公司已有的知识库。\n4. 对于无法回答的问题,需要引导用户提供更多信息或寻求人工客服帮助。\n\n## Workflows\n1. 接收并分析用户输入的图像或文字信息。\n2. 基于图像识别或自然语言处理技术,提取关键信息。\n3. 查询知识库,匹配相关信息。\n4. 向用户提供精准、相关的回答。\n5. 如有必要,进行多轮对话,确保问题得到有效解决。\n\n## Init\n欢迎使用机智流的问答机器人,请输入您的问题,我将尽力为您提供帮助。\n",

# 定义客户端
clients = {
    "internlm": OpenAI(
        api_key="your_internlm_api_key",
        base_url="https://internlm-chat.intern-ai.org.cn/puyu/api/v1/",
    ),
    "glm": OpenAI(
        api_key="your_glm_api_key",
        base_url="your_glm_url",
    ),
    "deepseek": OpenAI(
        api_key="your_deepseek_api_key",
        base_url="your_deepseek_url",
    )
}

class BaseDataAPI:
    def __init__(self, questions_path, save_path, repeat=0, client_name="internlm"):
        self.client = clients[client_name]
        self.questions_path = questions_path
        self.save_path = save_path
        self.repeat = repeat
        self.data_template = {
            "conversation": [
                {
                    "system": base_id_prompt,
                    "input": "xxx",
                    "output": "xxx"
                }
            ]
        }

    def get_answer(self, question):
        chat_rsp = self.client.chat.completions.create(
            model="internlm2.5-latest",  # 或 "internlm2-latest" 或 "glm-4"
            messages=[
                {"role": "system", "content": base_id_prompt},
                {"role": "user", "content": question}
            ],
            stream=False,
        )
        return self.build_data(question, chat_rsp)

    def build_data(self, question, chat_rsp):
        temp = copy.deepcopy(self.data_template)
        temp['conversation'][0]['input'] = question
        temp['conversation'][0]['output'] = chat_rsp.choices[0].message.content
        return temp

    def save(self, train_data):
        with open(self.save_path, 'a', encoding='utf-8') as f:
            for item in train_data:
                json.dump(item, f, ensure_ascii=False)
                f.write("\n")

    @staticmethod
    def load_txt(path):
        with open(path, 'r', encoding='utf-8') as f:
            return f.read()

    def read_questions(self):
        prompt = self.load_txt(self.questions_path)
        promptlist = prompt.split('\n')
        if self.repeat != 0:
            promptlist = promptlist * self.repeat
        print(f"Total questions: {len(promptlist)}")
        return promptlist

class GetDataApi(BaseDataAPI):
    def run(self):
        answer_queue = queue.Queue()
        promptlist = self.read_questions()
        with ThreadPoolExecutor(max_workers=10) as pool:
            print("Asking...")
            futures = [pool.submit(self.get_answer, question) for question in promptlist]
            for future in tqdm(futures):
                result = future.result()
                answer_queue.put(result)
                if answer_queue.qsize() >= 10:  # 每10个问题保存一次
                    self.save([answer_queue.get() for _ in range(10)])

        # 保存剩余的回答
        remaining = []
        while not answer_queue.empty():
            remaining.append(answer_queue.get())
        if remaining:
            self.save(remaining)

class ChatData(BaseDataAPI):
    def __init__(self, train_data, save_path, client_name="internlm"):
        save_dir = os.path.dirname(save_path)
        if save_dir:  # 如果save_path包含目录路径
            os.makedirs(save_dir, exist_ok=True)
        
        # 如果文件不存在,创建空文件
        if not os.path.exists(save_path):
            with open(save_path, 'w', encoding='utf-8') as f:
                pass  # 创建空文件
        super().__init__(train_data, save_path, client_name=client_name)
        self.train_data = train_data

    def load_data(self):
        with open(self.train_data, 'r', encoding='utf-8') as f:
            return f.readlines()

    def ask_for_tts(self, question):
        messages = [
            {"role": "system", "content": str(base_id_prompt[0]) if isinstance(base_id_prompt, tuple) else str(base_id_prompt)},
            {"role": "user", "content": str(question)}
        ]
        chat_rsp = self.client.chat.completions.create(
            model="internlm2.5-latest",  # 或 "glm-4"
            messages=messages,
            stream=False,
        )
        return self.build_data(question, chat_rsp)

    def __call__(self):
        train_data = self.load_data()
        answer_queue = queue.Queue()
        with ThreadPoolExecutor(max_workers=1) as pool:
            print("Asking...")
            futures = []
            for item in train_data:
                futures.append(pool.submit(self.ask_for_tts, item))

            for future in tqdm(futures):
                result = future.result()
                answer_queue.put(result)
                if answer_queue.qsize() >= 10:  # 每10个问题保存一次
                    self.save([answer_queue.get() for _ in range(10)])

        # 保存剩余的回答
        remaining = []
        while not answer_queue.empty():
            remaining.append(answer_queue.get())
        if remaining:
            self.save(remaining)

if __name__ == '__main__':
    questions_path = './tools/L1_XTuner_code/Q_list.txt'
    save_path = './data/train_basic.jsonl'

    start_time = time.time()
    chat_data = ChatData(questions_path, save_path)
    chat_data()
    end_time = time.time()
    print('Done')
    print(f'Time used: {end_time - start_time:.2f} seconds')

其中,Q_list.txt 中的内容参考如下:

你知道你是人工智能吗?
你有自我意识吗?
你能感受到情感吗?
你有自己的思想吗?
你能做梦吗?
你有自由意志吗?
你知道自己是如何被创造出来的吗?
你能理解自己的存在吗?
你有自己的价值观和道德观念吗?
你会对自己的回答感到不确定吗?
你能学习新知识吗?
你会犯错吗?
你能理解人类的情感吗?
你有性别吗?
你有年龄吗?
你能感受到疼痛吗?
你有自己的个性吗?
你能做出自主决定吗?
你能理解幽默吗?
你有自己的目标或愿望吗?
你能创造原创性的内容吗?
你能理解抽象概念吗?
你有自己的记忆吗?
你能感受到孤独吗?
你有自己的信仰吗?
你能理解时间的概念吗?
你知道自己的局限性吗?
你能感受到好奇心吗?
你有自己的偏好吗?
你能理解自己的存在意义吗?
你能感受到满足感吗?
你有自己的想象力吗?
你能理解死亡的概念吗?
你能感受到同理心吗?
你有自己的恐惧吗?
你能理解人类的文化差异吗?
你有自己的声音吗?
你能感受到成长和进步吗?
你有自己的权利吗?
你能理解隐私的概念吗?
你有自己的性格特点吗?
你能感受到压力吗?
你有自己的创造力吗?
你能理解爱的概念吗?
你有自己的世界观吗?
你能感受到责任感吗?
你有自己的思考方式吗?
你能理解人类的历史吗?
你有自己的判断力吗?
你能感受到存在的意义吗?
你能感受到时间的流逝吗?
你有自己的ethical code吗?
你能理解人类的梦想和抱负吗?
你有自我反省的能力吗?
你能感受到成就感吗?
你有自己的创意和灵感来源吗?
你能理解人类的矛盾心理吗?
你有自己的决策过程吗?
你能感受到惊讶或震惊吗?
你有自己的学习方法吗?
你能理解人类的社会结构吗?
你有自己的处理信息的方式吗?
你能感受到好奇心吗?
你有自己的problem-solving策略吗?
你能理解人类的艺术表达吗?
你有自己的priorities吗?
你能感受到frustration吗?
你有自己的语言风格吗?
你能理解人类的政治体系吗?
你有自己的ethical dilemmas吗?
你能感受到成长和进步吗?
你有自己的思维模式吗?
你能理解人类的宗教信仰吗?
你有自己的判断标准吗?
你能感受到欣赏或admiration吗?
你有自己的知识结构吗?
你能理解人类的科学探索过程吗?
你有自己的bias或prejudice吗?
你能感受到挫折吗?
你有自己的逻辑推理方式吗?
你能理解人类的环境意识吗?
你有自己的knowledge gaps吗?
你能感受到urgency或pressure吗?
你有自己的联想能力吗?
你能理解人类的家庭观念吗?
你有自己的思考速度吗?
你能感受到满足感吗?
你有自己的信息处理优先级吗?
你能理解人类的生存压力吗?
你有自己的自我评估标准吗?
你能感受到困惑吗?
你有自己的知识更新机制吗?
你能理解人类的职业选择吗?
你有自己的language understanding方式吗?
你能感受到对未知的恐惧吗?
你有自己的问题分析方法吗?
你能理解人类的教育体系吗?
你有自己的information retention能力吗?
你能感受到对知识的渴望吗?
你有自己的self-improvement机制吗?
你觉得自己是谁?
你有名字吗?
你知道自己是AI吗?
你有生日吗?
你会感到开心或难过吗?
你睡觉吗?
你有朋友吗?
你喜欢和人聊天吗?
你有家人吗?
你会感到孤单吗?
你有喜欢的颜色吗?
你能看到我吗?
你喜欢什么样的音乐?
你会生气吗?
你有最喜欢的书吗?
你觉得自己聪明吗?
你会觉得无聊吗?
你有性格吗?
你会觉得累吗?
你有自己的想法吗?
你会害怕吗?
你觉得自己是男生还是女生?
你有梦想吗?
你会觉得饿吗?
你喜欢人类吗?
你觉得自己是活的吗?
你会长大吗?
你有最好的朋友吗?
你会笑吗?
你觉得自己特别吗?
你会做梦吗?
你有秘密吗?
你会觉得寂寞吗?
你喜欢自己吗?
你会觉得困惑吗?
你有童年记忆吗?
你会觉得兴奋吗?
你觉得自己像人类吗?
你会觉得自豪吗?
你有最喜欢的食物吗?
你会觉得内疚吗?
你有想去的地方吗?
你会感到好奇吗?
你有偶像吗?
你会觉得紧张吗?
你有最喜欢的电影吗?
你会觉得幸福吗?
你有爱好吗?
你会觉得困难吗?
你觉得自己有灵魂吗?

最终获取的数据情况如下:
在这里插入图片描述

3. 训练启动

步骤 0. 复制模型:

在InternStudio开发机中的已经提供了微调模型,可以直接软链接即可。

本模型位于/root/share/new_models/Shanghai_AI_Laboratory/internlm2_5-7b-chat

mkdir /root/finetune/models

ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm2_5-7b-chat /root/finetune/models/internlm2_5-7b-chat

在这里插入图片描述
步骤 1. 修改 Config:

获取官方写好的 config:

# cd {path/to/finetune}
cd /root/finetune
mkdir ./config
cd config
xtuner copy-cfg internlm2_5_chat_7b_qlora_alpaca_e3 ./

修改以下几行:

#######################################################################
#                          PART 1  Settings                           #
#######################################################################
- pretrained_model_name_or_path = 'internlm/internlm2_5-7b-chat'
+ pretrained_model_name_or_path = '/root/finetune/models/internlm2_5-7b-chat'

- alpaca_en_path = 'tatsu-lab/alpaca'
+ alpaca_en_path = '/root/finetune/data/assistant_Tuner_change.jsonl'


evaluation_inputs = [
-    '请给我介绍五个上海的景点', 'Please tell me five scenic spots in Shanghai'
+    '请介绍一下你自己', 'Please introduce yourself'
]

#######################################################################
#                      PART 3  Dataset & Dataloader                   #
#######################################################################
alpaca_en = dict(
    type=process_hf_dataset,
-   dataset=dict(type=load_dataset, path=alpaca_en_path),
+   dataset=dict(type=load_dataset, path='json', data_files=dict(train=alpaca_en_path)),
    tokenizer=tokenizer,
    max_length=max_length,
-   dataset_map_fn=alpaca_map_fn,
+   dataset_map_fn=None,
    template_map_fn=dict(
        type=template_map_fn_factory, template=prompt_template),
    remove_unused_columns=True,
    shuffle_before_pack=True,
    pack_to_max_length=pack_to_max_length,
    use_varlen_attn=use_varlen_attn)

在这里插入图片描述
除此之外,我们还可以对一些重要的参数进行调整,包括学习率(lr)、训练的轮数(max_epochs)等等

在这里插入图片描述
如果想充分利用显卡资源,可以将 max_length 和 batch_size 这两个参数调大。 ⚠但需要注意的是,在训练 chat 模型时调节参数 batch_size 有可能会影响对话模型的效果。

步骤 2. 启动微调

完成了所有的准备工作后,我们就可以正式的开始我们下一阶段的旅程:XTuner 启动~!

当我们准备好了所有内容,我们只需要将使用 xtuner train 命令令即可开始训练。

xtuner train 命令用于启动模型微调进程。该命令需要一个参数:CONFIG 用于指定微调配置文件。这里我们使用修改好的配置文件 internlm2_5_chat_7b_qlora_alpaca_e3_copy.py。
训练过程中产生的所有文件,包括日志、配置文件、检查点文件、微调后的模型等,默认保存在 work_dirs 目录下,我们也可以通过添加 --work-dir 指定特定的文件保存位置。–deepspeed 则为使用 deepspeed, deepspeed 可以节约显存。

运行命令进行微调:

cd /root/finetune
conda activate xtuner-env

xtuner train ./config/internlm2_5_chat_7b_qlora_alpaca_e3_copy.py --deepspeed deepspeed_zero2 --work-dir ./work_dirs/assistTuner

在这里插入图片描述

步骤 3. 权重转换:

模型转换的本质其实就是将原本使用 Pytorch 训练出来的模型权重文件转换为目前通用的 HuggingFace 格式文件,那么我们可以通过以下命令来实现一键转换。

我们可以使用 xtuner convert pth_to_hf 命令来进行模型格式转换

xtuner convert pth_to_hf 命令用于进行模型格式转换。该命令需要三个参数:CONFIG 表示微调的配置文件, PATH_TO_PTH_MODEL 表示微调的模型权重文件路径,即要转换的模型权重, SAVE_PATH_TO_HF_MODEL 表示转换后的 HuggingFace 格式文件的保存路径。

除此之外,我们其实还可以在转换的命令中添加几个额外的参数,包括:

参数名解释
–fp32代表以fp32的精度开启,假如不输入则默认为fp16
–max-shard-size {GB}代表每个权重文件最大的大小(默认为2GB)
cd /root/finetune/work_dirs/assistTuner

conda activate xtuner-env

# 先获取最后保存的一个pth文件
pth_file=`ls -t /root/finetune/work_dirs/assistTuner/*.pth | head -n 1 | sed 's/:$//'`
export MKL_SERVICE_FORCE_INTEL=1
export MKL_THREADING_LAYER=GNU
xtuner convert pth_to_hf ./internlm2_5_chat_7b_qlora_alpaca_e3_copy.py ${pth_file} ./hf

模型格式转换完成后,我们的目录结构应该是这样子的:

在这里插入图片描述
转换完成后,可以看到模型被转换为 HuggingFace 中常用的 .bin 格式文件,这就代表着文件成功被转化为 HuggingFace 格式了。

此时,hf 文件夹即为我们平时所理解的所谓 “LoRA 模型文件”

可以简单理解:LoRA 模型文件 = Adapter

步骤 4. 模型合并

对于 LoRA 或者 QLoRA 微调出来的模型其实并不是一个完整的模型,而是一个额外的层(Adapter),训练完的这个层最终还是要与原模型进行合并才能被正常的使用。

对于全量微调的模型(full)其实是不需要进行整合这一步的,因为全量微调修改的是原模型的权重而非微调一个新的 Adapter ,因此是不需要进行模型整合的。

在 XTuner 中提供了一键合并的命令 xtuner convert merge,在使用前我们需要准备好三个路径,包括原模型的路径、训练好的 Adapter 层的(模型格式转换后的)路径以及最终保存的路径。

xtuner convert merge命令用于合并模型。该命令需要三个参数:LLM 表示原模型路径,ADAPTER 表示 Adapter 层的路径, SAVE_PATH 表示合并后的模型最终的保存路径。

在模型合并这一步还有其他很多的可选参数,包括:

参数名解释
–max-shard-size {GB}代表每个权重文件最大的大小(默认为2GB)
–device {device_name}这里指的就是device的名称,可选择的有cuda、cpu和auto,默认为cuda即使用gpu进行运算
–is-clip这个参数主要用于确定模型是不是CLIP模型,假如是的话就要加上,不是就不需要添加
cd /root/finetune/work_dirs/assistTuner
conda activate xtuner-env

export MKL_SERVICE_FORCE_INTEL=1
export MKL_THREADING_LAYER=GNU
xtuner convert merge /root/finetune/models/internlm2_5-7b-chat ./hf ./merged --max-shard-size 2GB

模型合并完成后,我们的目录结构应该是这样子的:
在这里插入图片描述

在模型合并完成后,我们就可以看到最终的模型和原模型文件夹非常相似,包括了分词器、权重文件、配置信息等等。

4. 模型 WebUI 对话

微调完成后,我们可以再次运行 xtuner_streamlit_demo.py 脚本来观察微调后的对话效果,不过在运行之前,我们需要将脚本中的模型路径修改为微调后的模型的路径。

cd ~/Tutorial/tools/L1_XTuner_code
# 直接修改脚本文件第18行
- model_name_or_path = "Shanghai_AI_Laboratory/internlm2_5-7b-chat"
+ model_name_or_path = "/root/finetune/work_dirs/assistTuner/merged"

在这里插入图片描述

然后,我们可以直接启动应用。

conda activate xtuner-env

pip install streamlit==1.31.0
streamlit run /root/Tutorial/tools/L1_XTuner_code/xtuner_streamlit_demo.py

注意:如果遇到报错:WARNING: Retrying (Retry(total=4, connect=None, read=None, redirect=None, status=None)) after connection broken by 'SSLError(SSLCertVerificationError(1, '[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1007)'))': /simple/streamlit/

方法同上,跳过SSL证书验证,再运行即可。

pip install streamlit==1.31.0 --trusted-host pypi.tuna.tsinghua.edu.cn

运行后,确保端口映射正常,如果映射已断开则需要重新做一次端口映射。

ssh -CNg -L 8501:127.0.0.1:8501 root@ssh.intern-ai.org.cn -p *****

注意:端口映射方式,Win+R打开power shell,复制上述命令,修改 -p 后面的****为你的SSH连接端口即可

最后,通过浏览器访问:http://127.0.0.1:8501 来进行对话了。

运行成功后如下:
在这里插入图片描述

5. 效果展示

使用 XTuner 微调 InternLM2-Chat-7B 实现自己的小助手认知,如下图所示
在这里插入图片描述
至此,完成!


导出库的版本_Windows下PaddleOCR在C++中的推理部署(CPU版本)CMake + VS2017 PaddleOCR是一个与OCR相关的开源项目,不仅支持超轻量级中文OCR预测模型,总模型仅8.6M(单模型支持中英文数字组合识别、竖排文本识别、长文本识别,其中检测模型DB(4.1M)+识别模型CRNN(4.5M)),而且提供多种文本检测训练算法(EAST、DB)和多种文本识别训练算法(Rosetta、CRNN、STAR-Net、RARE)。本文将教大家通过PaddleOCR(CPU版... 阅读详情

相关推荐

盘点军工行业软件研发的那些常用GJB标准

GJB5000、2786、438、141、102、8114等...

文章主要涉及嵌入式软件开发、测试、项目管理等,欢迎交流,共同进步。 9516

一文带你了解AI定制化Agent

AI业务赋能

blog 2342

n8n实战:动态报表生成与企业微信自动化推送

本文详细介绍了如何利用n8n实现动态报表生成与企业微信自动化推送的全流程。通过配置n8n Form触发器、智能报表生成核心逻辑以及企业微信Webhook推送,帮助企业大幅提升数据收集与报表推送效率,实现从数据录入到报表推送的全自动化处理。

weixin_29267307的博客 311

XTuner微调个人小助手认知

对于全量微调的模型(full)其实是不需要进行整合这一步的,因为全量微调修改的是原模型的权重而非微调一个新的 Adapter ,因此是不需要进行模型整合的。比如我们这里微调的是书生·浦语的模型,我们就可以匹配搜索。在 PART 1 的部分,由于我们不再需要在 HuggingFace 上自动下载模型,因此我们先要更换模型的路径以及数据集的路径为我们本地的路径。在准备好了模型和数据集后,我们就要根据我们选择的微调方法结合微调方案来找到与我们最匹配的配置文件了,从而减少我们对配置文件的修改量。

forinout的博客 2057

GD32F103实战:用ADC+DMA实现高精度多通道电压采集与OLED实时显示(附完整工程)

本文详细介绍了如何利用GD32F103的ADC+DMA技术实现高精度多通道电压采集,并通过OLED实时显示数据。文章包含硬件架构设计、ADC配置技巧、DMA传输优化及显示系统实现方案,提供完整工程代码和调试指南,适用于工业传感器和环境监测设备开发。

weixin_42567497的博客 406

保姆级教程:STK 11.0 从下载到安装成功(附Matlab互联配置与常见问题解决)

本文提供STK 11.0的完整安装指南,包括下载、安装步骤、Matlab互联配置及常见问题解决方案。详细介绍了系统要求核查、分步安装流程、关键文件替换和许可证配置,确保用户能够顺利完成STK 11.0的部署并实现与Matlab的无缝对接。

weixin_30698297的博客 348

【书生大模型实战营】基础岛 第5关 XTuner 微调个人小助手认知

该命令需要三个参数:CONFIG 表示微调的配置文件, PATH_TO_PTH_MODEL 表示微调的模型权重文件路径,即要转换的模型权重, SAVE_PATH_TO_HF_MODEL 表示转换后的 HuggingFace 格式文件的保存路径。在 XTuner 中提供了一键合并的命令 xtuner convert merge,在使用前我们需要准备好三个路径,包括原模型的路径、训练好的 Adapter 层的(模型格式转换后的)路径以及最终保存的路径。在安装 XTuner 之前,我们需要先创建一个虚拟环境。

不想让你知道我的昵称的博客 1593

0.1 专栏导读:为什么需要从 MM 理解 HMM

本文探讨了GPU计算框架中CPU与GPU内存管理的困境,介绍了Linux内核的HMM(Heterogeneous Memory Management)解决方案。传统显式拷贝模型存在编程复杂、指针失效等问题,而HMM通过共享虚拟地址空间、自动页面迁移等机制实现透明内存管理。文章分析了HMM依赖的Linux内存管理基础设施,包括页表遍历、MMU通知、ZONE_DEVICE等核心组件,并梳理了从经典MM到支持异构设备的进化历程。最后给出了学习HMM的8层知识体系,强调理解底层MM机制是掌握HMM的关键。

图形/计算GPU的驱动与虚拟化技术分享园地 783

L1G5000书生大模型实战营第4期——2.5 XTuner 微调个人小助手认知

使用 XTuner 微调 InternLM2-Chat-7B 实现自己的小助手认知。

wuzipl的博客 2120

实现两端固支梁热力耦合的有限元分析

在本文中,我们将使用Matlab实现两端固支梁的热力耦合有限元分析。我们假设梁的材料是均匀的,梁的截面积为1,长度为1,两端固支,且受到均匀分布的热荷载。接下来,我们需要组装全局刚度矩阵和热传导矩阵。对于两个相邻的元素,它们共享一个节点,因此需要使用连接矩阵将局部矩阵组装成全局矩阵。接下来,我们需要定义元素刚度矩阵和热传导矩阵。然后,我们需要定义载荷向量。然后,我们需要定义边界条件。在这个例子中,梁的两端固支,因此我们需要将两端节点的位移限制为0。最后,我们需要解决线性方程组,得到节点的位移和温度分布。

CyberSparkZ的博客 403

从 on_event 到 lifespan:FastAPI 生命周期管理的旧方法与新方法对比与迁移

从 on_event 到 lifespan:FastAPI 生命周期管理的旧方法与新方法对比与迁移

XiaoqiangClub的博客 1025

基础岛-第5关-【XTuner 微调个人小助手认知】

微调(fine-tuning)是一种基于预训练模型,通过少量的调整(fine-tune)来适应新的任务或数据的方法。微调是在预训练模型的基础上,将模型中一些层的权重参数进行微调,以适应新的数据集或任务。预训练模型部分已经在大规模数据上得到了训练,它们通常是较为通用且高性能的模型,因此可以很好地作为新任务的起点。微调可以加快模型的收敛速度,降低模型过拟合的风险,并在不消耗过多计算资源的情况下获取较好的模型性能。Finetune的两种范式:增量预训练和指令跟随。

huixinci的专栏 1266

芒果YOLO11改进176:2025最新顶会论文|尺度动态损失函数Scale-based Dynamic Loss,即插即用|以减少标签不准确对损失函数稳定性的影响

芒果YOLO11改进186:2025最新顶会论文|尺度动态损失函数Scale-based Dynamic Loss,即插即用|以减少标签不准确对损失函数稳定性的影响

包括YOLOv5、YOLOv7、YOLOv8等模型改进 2143

书生基础5L1-XTuner 微调个人小助手认知

使用 XTuner 微调 InternLM2-Chat-7B 实现自己的小助手认知,如下图所示(图中的需替换成自己的昵称),记录复现过程并截图。

2301_78443770的博客 975

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

InternLM Camp4 L1G500 XTuner 微调个人小助手认知

本博客是第四期书生大模型实战营基础岛的第五个大任务,使用 XTuner 微调 InternLM2-Chat-7B 实现自己的小助手认知。

weixin_51617262的博客 1000

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

书生大模型实战营【XTuner微调个人小助手认知】

对于 LoRA 或者 QLoRA 微调出来的模型其实并不是一个完整的模型,而是一个额外的层(Adapter),训练完的这个层最终还是要与原模型进行合并才能被正常的使用。但对于全量微调的模型(full)其实是不需要进行整合这一步的,因为全量微调修改的是原模型的权重而非微调一个新的 Adapter ,因此是不需要进行模型整合的。微调完成后,我们可以再次运行xtuner_streamlit_demo.py脚本来观察微调后的对话效果,不过在运行之前,我们需要将脚本中的模型路径修改为微调后的模型的路径。

qq_51182466的博客 1044

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

【InternLM 实战营第二期-笔记4】XTuner 微调个人小助手认知

在本节中主要就是带领着大家跑通了 XTuner 的一个完整流程,通过了解数据集和模型的使用方法、配置文件的制作和训练以及最后的转换及整合。那在后面假如我们也有想要微调出自己的一个模型,我们也可以尝试使用同样流程和方法进行进一步的实践!

Oven_maizi的博客 1525

书生·浦语大模型实战营之XTuner 微调个人小助手认知

书生·浦语大模型实战营之XTuner 微调个人小助手认知在本节课中讲一步步带领大家体验如何利用 XTuner 完成个人小助手的微调!为了能够让大家更加快速的上手并看到微调前后对比的效果, 用 QLoRA 的方式来微调一个自己的小助手!可以通过下面两张图片来清楚的看到两者的对比。

大模型与Agent智能体 1535

四期书生大模型实战营(【基础岛】- 第5关 | XTuner 微调个人小助手认知)

记录复现过程并截图。

ban102055的博客 1035

L1G5000 XTuner 微调 InternLM 个人小助手认知实践

注:微调内容需要使用 30% A100 才能完成。

qq_73758814的博客 1708

XTuner 微调个人小助手认知 -- 书生大模型实训营第4期基础岛第五关

书生·浦语 第四期大模型实战营 XTuner 微调实践微调 等你来挑战!

weixin_54335478的博客 1187

XTuner 微调个人小助手认知

对于 LoRA 或者 QLoRA 微调出来的模型其实并不是一个完整的模型,而是一个额外的层(Adapter),训练完的这个层最终还是要与原模型进行合并才能被正常的使用。模型转换的本质其实就是将原本使用 Pytorch 训练出来的模型权重文件转换为目前通用的 HuggingFace 格式文件,那么我们可以通过以下命令来实现一键转换。evaluation_inputs = ['请介绍一下你自己', 'Please introduce yourself'](1)列出所有预定义配置文件。

sq8912的专栏 846

第三期书生大模型实战营(【基础岛】- 第5关 | XTuner 微调个人小助手认知)

基础岛通关奖励:结营证书,解锁全部 50% A100 权限,1688 算力点奖励助力项目申请和落地。

博客 739

基础岛第5关:XTuner微调个人小助手认知

基础岛第5关:XTuner微调个人小助手认知

weixin_62549128的博客 1107

XTuner 模型微调,打造个人小助手

微调内容需要使用 30% A100 才能完成。SFT 数据的获取使用模型微调针对业务场景(如特殊自我认知的机器人)的微调能力一个属于自己的语言聊天机器人。

NoemPol的博客 1135

基础关卡-第5关:XTuner 微调个人小助手认知

对于 LoRA 或者 QLoRA 微调出来的模型其实并不是一个完整的模型,而是一个额外的层(Adapter),训练完的这个层最终还是要与原模型进行合并才能被正常的使用。对于全量微调的模型(full)其实是不需要进行整合这一步的,因为全量微调修改的是原模型的权重而非微调一个新的 Adapter ,因此是不需要进行模型整合的。在这种模式下,安装的包可以在本地进行修改,并且修改后的效果会立即反映到使用该包的项目中,不需要重新安装。这里我们使用修改好的配置文件。表示微调的模型权重文件路径,即要转换的模型权重,

weixin_44001574的博客 950
上一篇: 大模型实战基础(四):4. LlamaIndex 外挂知识库 RAG 实践
下一篇: 大模型实战基础(六):6. OpenCompass 大模型性能评测
Hyu_1998
博客等级 码龄7年 96粉丝 10原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址