【书生大模型实战营(暑假场)】进阶任务二 Lagent 自定义你的 Agent 智能体

梯度爆炸(Gradient Explosion)详解 梯度爆炸的本质是反向传播中雅可比矩阵连乘导致梯度指数增长,当谱半径 > 1 时,仅需数十层即引发数值溢出。其根源在于深层网络缺乏稳定梯度通路,尤其在 RNN、深前馈网或初始化不当场景下显著。应对策略以梯度裁剪(如 clip_grad_norm_)为首选,辅以残差连接、归一化、合理初始化(如 He/Xavier),并结合监控 grad_norm 曲线实现早发现、早干预。 阅读详情

进阶任务二 Lagent 自定义你的 Agent 智能体

1 认识 Lagent 智能体框架

Lagent 是书生浦语团队开发的一个轻量级开源智能体 AI Agent 框架。可以支持高效构建基于大语言模型的的智能体,并提供多种典型工具以增强大语言模型的能力。

Lagent 目前支持 AutoGPT、ReAct 等在内的多个经典智能体范式,并支持了如下工具:

  • Arxiv 搜索
  • Bing 地图
  • Google 学术搜索
  • Google 搜索
  • 交互式 IPython 解释器
  • IPython 解释器
  • PPT
  • Python 解释器

基本架构如图所示

在这里插入图片描述

2 Lagent 搭建 Agent 实战

2.1 环境配置和工具安装

首先创建镜像为 Cuda12.2-conda 的 30% A100 开发机。然后,为 Lagent 配置可用环境:

# 创建环境
conda create -n agent_camp3 python=3.10 -y
# 激活环境
conda activate agent_camp3
# 安装 torch
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia -y
# 安装其他依赖包
pip install termcolor==2.4.0
pip install lmdeploy==0.5.2
pip install streamlit
pip install griffe==0.48 # 否则会有 ModuleNotFoundError: No module named

注意:
这一关基础任务的文档存在不少环境依赖问题,请按照上面的指令准备依赖,而非官方任务文档。

配置好环境后,通过源码安装的方式安装 Lagent 框架

# 创建目录以存放代码
mkdir -p /root/agent_camp3
cd /root/agent_camp3
git clone https://github.com/InternLM/lagent.git
cd lagent && git checkout 81e7ace && pip install -e . && cd ..

2.2 Lagent Web Demo 体验

为使用 Lagent 的 Web Demo 体验 InternLM2.5-7B-Chat 的 Agent 能力,首先先使用 LMDeploy 部署 InternLM2.5-7B-Chat,为一个 API Server。

conda activate agent_camp3
lmdeploy serve api_server /share/new_models/Shanghai_AI_Laboratory/internlm2_5-7b-chat --model-name internlm2_5-7b-chat

这一步之后,我们的模型已通过 lmdeploy 部署为一个 API server,效果如下
在这里插入图片描述
端口映射后,打开本地对应地址可以发现以下 FastAPI Server:
在这里插入图片描述
然后,我们可以利用 streamlit,将部署好的模型 API server 映射到一个 streamlit Web App。我们需要打开另一个终端,输入以下指令运用 steamlit 启动 Lagent 的 Web Demo:

cd /root/agent_camp3/lagent
conda activate agent_camp3
streamlit run examples/internlm2_agent_web_demo.py

在这里插入图片描述
端口映射后,在本地浏览器可以打开部署好的 streamlit 支持的 Lagent Web Demo,然后进行以下修改:修改模型名称一栏为 internlm2_5-7b-chat,修改模型 ip一栏为127.0.0.1:23333,修改后便可进行交互。

在这里插入图片描述
在这里插入图片描述

3 Lagent 自定义智能体 Agent 实战

Lagent 提供了多种 Agent 工具/动作,可以参考:Lagent动作。

使用 Lagent 自定义工具主要分为以下几步:

  1. 继承 BaseAction 类
  2. 实现简单工具的 run 方法;或者实现工具包内每个子工具的功能
  3. 简单工具的 run 方法可选被 tool_api 装饰;工具包内每个子工具的功能都需要被 tool_api 装饰

下面实现一个调用 MagicMaker API 的 Agent 动作/工具以完成文生图的功能。

首先,在特定文件夹用于调用 MagicMaker API 的 python 文件:

cd /root/agent_camp3/lagent
touch lagent/actions/magicmaker.py
import json
import requests

from lagent.actions.base_action import BaseAction, tool_api
from lagent.actions.parser import BaseParser, JsonParser
from lagent.schema import ActionReturn, ActionStatusCode


class MagicMaker(BaseAction):
    styles_option = [
        'dongman',  # 动漫
        'guofeng',  # 国风
        'xieshi',   # 写实
        'youhua',   # 油画
        'manghe',   # 盲盒
    ]
    aspect_ratio_options = [
        '16:9', '4:3', '3:2', '1:1',
        '2:3', '3:4', '9:16'
    ]

    def __init__(self,
                 style='guofeng',
                 aspect_ratio='4:3'):
        super().__init__()
        if style in self.styles_option:
            self.style = style
        else:
            raise ValueError(f'The style must be one of {self.styles_option}')
        
        if aspect_ratio in self.aspect_ratio_options:
            self.aspect_ratio = aspect_ratio
        else:
            raise ValueError(f'The aspect ratio must be one of {aspect_ratio}')
    
    @tool_api
    def generate_image(self, keywords: str) -> dict:
        """Run magicmaker and get the generated image according to the keywords.

        Args:
            keywords (:class:`str`): the keywords to generate image

        Returns:
            :class:`dict`: the generated image
                * image (str): path to the generated image
        """
        try:
            response = requests.post(
                url='https://magicmaker.openxlab.org.cn/gw/edit-anything/api/v1/bff/sd/generate',
                data=json.dumps({
                    "official": True,
                    "prompt": keywords,
                    "style": self.style,
                    "poseT": False,
                    "aspectRatio": self.aspect_ratio
                }),
                headers={'content-type': 'application/json'}
            )
        except Exception as exc:
            return ActionReturn(
                errmsg=f'MagicMaker exception: {exc}',
                state=ActionStatusCode.HTTP_ERROR)
        image_url = response.json()['data']['imgUrl']
        return {'image': image_url}

然后,修改文件 /root/agent_camp3/lagent/examples/internlm2_agent_web_demo.py 以适配我们刚创建的自定义/动作工具:

  1. 在 from lagent.actions import ActionExecutor, ArxivSearch, IPythonInterpreter 的下一行添加 from lagent.actions.magicmaker import MagicMaker
  2. 在第27行添加 MagicMaker()
from lagent.actions import ActionExecutor, ArxivSearch, IPythonInterpreter
+ from lagent.actions.magicmaker import MagicMaker
from lagent.agents.internlm2_agent import INTERPRETER_CN, META_CN, PLUGIN_CN, Internlm2Agent, Internlm2Protocol

...
        action_list = [
            ArxivSearch(),
+             MagicMaker(),
        ]

然后想之前一样,打开另一个终端窗口,启用 Lagent 的 Web Demo:

cd /root/agent_camp3/lagent
conda activate agent_camp3
streamlit run examples/internlm2_agent_web_demo.py

同样的,端口映射后,在本地浏览器可以打开部署好的 streamlit 支持的 Lagent Web Demo,然后进行以下修改:修改模型名称一栏为 internlm2_5-7b-chat,修改模型 ip一栏为127.0.0.1:23333,修改后便可进行交互。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
这个 Agent 给出了不错的绘制作品,但他对风格的把握还有待提高。

单精度浮点数存储、双精度浮点数存储 阅读详情

相关推荐

Python地理空间库安装指南:从gdal到geopandas的完整流程

本文详细介绍了Python地理空间库的完整安装流程,包括gdal、rasterio和geopandas等核心库的安装与配置。通过Anaconda环境管理和conda-forge频道,帮助开发者高效解决依赖问题,确保地理空间数据处理环境的稳定运行。

weixin_29091105的博客 468

【书生3.2】Lagent 自定义你的 Agent 智能体

1 环境准备2 启动模型3 部署lagent4 可视化页面及配置5 自定义工具的智能体'dongman', # 动漫'guofeng', # 国风'xieshi', # 写实'youhua', # 油画'manghe', # 盲盒else:else:@tool_apiArgs:Returns:"""try:}),创建magicmaker.py文件修改来适配我们的自定义工具。在的下一行添加在第27行添加。

qqzhuimengren的博客 667

关于发那科机器人抓手及物料搬运阀配置

4:确保抓手阀岛和输入模块配网连接正常,MENU—SETUP—MH Valves—Details,详细界面进入到左上图所示,根据每组阀分配夹钳数量并应用。3:设置搬运有效,抓手是否带点焊可以自行选择,要设置应用选择,物料搬用工具数量,工具上阀岛的数量,夹钳存在数量,工具存在数量,以及真空吸盘,冷启动。​2:MENU—应用选择,将搬运置为有效,剩余其他项根据机器人实际用途进行选择。5:设置夹钳数量,检查打开夹钳,检查闭合夹钳,延迟时间要给选择配置应用。

dxs93的博客 4779

书生大模型实战营(暑假场)进阶岛关卡二——Lagent 自定义你的 Agent 智能体

书生大模型实战营(暑假场)进阶岛关卡二——Lagent 自定义你的 Agent 智能体 使用 Lagent 自定义一个智能体,并使用 Lagent Web Demo 成功部署与调用,记录复现过程并截图。

HJL1228的博客 495

数字孪生实战:如何用Unity3D为工厂设备快速搭建可视化孪生体(附GitHub源码)

本文详细介绍了如何利用Unity3D游戏引擎为工厂设备快速构建可视化数字孪生体。通过实战案例,阐述了从3D模型导入、MQTT实时数据接入,到振动、温度等关键参数可视化呈现的完整流程。文章旨在为智能制造和工业物联网开发者提供一套灵活、低成本的技术方案,并附有完整的GitHub源码,助力实现设备状态的直观监控与预测性维护。

weixin_29184075的博客 485

Lmbench测试集 --- 延迟测试工具lat_mem_rd

lmbench测试集简介 以及 lat_mem_rd延迟测试工具: 如何测试、测试结果、源码分析

MonologueYY的博客 1万+

AI 写的测试测的是它自己:断言锁死输出,功能改错它也测不出来

AI 生成的测试跑得勤、全绿、上线前不报错,但三个月后维护时发现它已经"测的是自己"——断言用实现逻辑生成期望值,功能改错了测试还是绿的。这篇用一组沙箱演练量"可测性":同一个实现、同一批订单、两版测试(AI 风格·字面量锁死 vs 人写规范·业务谓词),走三组对照。结论反直觉:需求不变时两版测试都绿;需求一演进,A 版测试先误报(锁死输入结构,代码没 bug 却红),"修"完就变成测自己,之后功能改错它照样绿;B 版测试不误报、改错就红。跑得绿不等于测得住。

四六的六专栏 481

Day470&471.Netty概述&Netty高性能架构设计 -netty

Netty概述 一、原生 NIO 存在的问题 NIO 的类库和 API 繁杂,使用麻烦:需要熟练掌握 Selector、ServerSocketChannel、SocketChannel、ByteBuffer等。 需要具备其他的额外技能:要熟悉 Java 多线程编程,因为 NIO 编程涉及到 Reactor 模式,你必须对多线程和网络编程非常熟悉,才能编写出高质量的 NIO 程序。 开发工作量和难度都非常大:例如客户端面临断连重连、网络闪断、半包读写、失败缓存、网络拥塞和异常流的处理等等。 JDK NIO

阿昌爱Java 1575

病虫害 AI 诊断可视化实录:三框同屏的流式诊断与五图看板

接上篇病虫害识别系统。AI 诊断从"点按钮等 30 秒"改造成"提示词、思考过程、诊断结论三框同屏流式输出",改造中最有价值的发现是:推理模型的思考框里能看到完整的鉴别诊断推理——模型逐条排除"玉米螟还是草地贪夜蛾",这个过程对植保人员比结论本身更有参考价值。同时把看板从 5 个数字升级成 5 张图。技术栈 SpringBoot3 + LangChain4j + ECharts,文末附实测数据。

qq_45896330的博客 213

Cadence Allegro新手避坑:从原理图到PCB,解决‘netrev.lst does not exist’的完整流程

本文详细介绍了Cadence Allegro从原理图设计到PCB导入网表的完整流程,特别针对新手常见的'netrev.lst does not exist'错误提供了系统解决方案。内容包括环境准备、原理图设计规范、网表生成与导入技巧,以及设计数据管理最佳实践,帮助工程师高效完成PCB设计任务。

weixin_42685438的博客 490

halcon3d点云补全方法

属于halcon实例中的内容,后面还接了一部分的匹配

Tianwen_running的博客 1232

React Native 0.84 鸿蒙手写批注实践:AI 辅助生成与真机重构 Pen Kit 一笔成形及动态 NDK 预测

React Native 鸿蒙手写库 react-native-stylus-pen 实现了手写画布、一笔成形与报点预测功能,配套开源项目“智绘手写讲义本”支持讲义圈注、轻触标记与直线规整。通过 HarmonyOS Dev Assistant 生成跨端桥接代码,并在华为畅享 100 Pro Max 真机与 API 26 模拟器上验证,解决了帧内触点合并、笔迹替换及 C 预测库缺失回退等关键问题,实现真机与模拟器双端稳定运行。项目已开源,欢迎交流与贡献。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 5341

【txt文本加密】使用 cryptography 库实现加密和解密

cryptography 库是一个强大的 Python 库,用于实现加密和解密功能。它提供了各种加密算法,包括对称加密、非对称加密、哈希函数等。

📷 图像处理践行者 | 传统算法 · 深度学习 · 多模态 | 分享实战经验与技术洞见,探索从像素到智能的无限可能。 2673

AI辅助评审怎么落地:杭州40个试点的技术细节

原因写得很具体:投标文件普遍存在页数多、数据体量大、格式不统一、排版不规范等情况,系统在文本解析、关键要素提取、深度语义理解等环节面临较大压力,耗时较长,运行效率有待提升。杭州公开了试点细节,不是AI加评审这种口号,而是一套有底座、有边界、有已知缺陷的工程实现。系统的准确率不是靠一次性训练定死的,而是靠真实评审过程持续抬升,每评审一个项目,系统就多一批带标签的难例。对做招投标系统的人来说,这套底座直接决定接口形态:招标文件要拆成可检索的条款项,资质材料要有明确的字段映射,否则比对无从下手。

m0_37802841的博客 329

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

AI应用 vs AI Agent:不是能力升级,而是“控制权”的转移

本文揭示AIAgent与AI应用的本质区别:核心在于流程控制权归属——代码决定路径的是AI应用,模型动态决策下一步的是Agent。Agent依赖“感知-规划-行动”闭环,导致成本高、不可控风险大,需通过Harness工程构建约束机制。判断使用场景的关键是任务路径的不确定性:可预判用AI应用,目标明确但路径未知则适合Agent。2026年,真正落地的Agentic系统仍不足一成,技术成熟度远未匹配热潮。

热爱代码的小小码农一只 372

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

我们用 AI 给 AgentLoop 手搓了一套海底世界探秘游戏,并开源了

前段时间 Ebby Amir,上线了一款 Starry Nightrider 的游戏,玩法是让梵高骑着自行车,穿行在 3D 化的《星月夜》(1889)里。玩家沿途收集光球,送进画里那座教堂尖塔。他并不具备游戏开发的职业背景,但是借助大模型,依旧能开发出一款质量很高的小游戏。

阿里巴巴云原生的博客 291

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

PaddleOCR与PyQt 界面综合案例

本项目基于PaddleOCR与PyQt5实现流水线标签实时识别系统,通过摄像头采集画面,结合置信度过滤(≥0.7)、正则格式筛选及三帧投票策略,有效降低单帧误识别,提升结果稳定性。系统采用模块化设计,实现“采集—识别—标注—统计”全流程可视化,界面简洁,响应实时,具备良好可扩展性,适用于工业场景中的自动化标签识别需求。

2302_80153357的博客 411

多模态试驾预约Agent实战案例

本章将实现一个完整的多模态试驾预约Agent应用系统,该系统实现了从多模态输入解析到试驾全流程(预约、调度、调整、信息查询)的闭环处理,适用于汽车试驾预约的智能化服务场景。系 统 概 述该项目“多模态试驾预约Agent”是一个集成多模态交互与试驾全流程管理的系统,主要功能概述如下。1. 多模态输入处理支持文本、语音、图片三种输入方式的解析与处理。(1)文本输入:识别用户意图(如“试驾预约”“价格查询”等),并提供针对性操作建议。

夏天又到了的专栏 406

AI赋能农业水域三维场景快速搭建:造形家框选即生成,解锁动态水流仿真能力

在乡村规划、农田水利设计、湿地文旅开发项目中,农业大棚、河湖沟渠、水库湿地等农业水域场景三维建模,过去常依赖航测倾斜摄影,成本高、周期漫长,还要投入大量人力手动建模。造形家依托 AI 识别能力,仅需框选地图范围,就可以快速生成完整可编辑的农业水域三维场景,还搭载 Flowmap 水流仿真能力,实现水体动态效果模拟,为农业水利规划、项目汇报、数字孪生底座建设提供高效解决方案。

m0_69539167的博客 243

Chrome、Edge、Firefox、MDN 联手给 AI 编程 agent 写了本现代 web 教材

最近在给 agent 工作流配前端能力,模型写出来的页面常年停在 2015 年的手法,这个仓库正面回答了这个问题。Modern Web Guidance 官方宣传图,来自项目博客本周 Top5:astryx(+8,700)、modern-web-guidance-src(+7,015,本期主角)、skills(+4,847)、sure(+4,786)、agent-skills(+3,884)。榜单前五有三个都在干同一件事,给 agent 喂知识,这个信号比任何单个仓库都直白。

Kaiji1126的博客 216

融新 AI 气泡图大师在制造业质检中的落地应用

在制造业的质检环节,面对堆积如山的工程图纸,最让人头疼的往往不是测量本身,而是前期的“打标”工作。传统的 FAI(首件检验)流程中,质检员需要拿着纸质或 PDF 图纸,用红笔一个个圈出尺寸,手动编写气泡编号,再对照公差表录入 Excel。这个过程不仅耗时极长,而且极易出错:漏标一个关键尺寸、看错一行公差、或者编号顺序混乱,都可能导致后续整批产品的误判。特别是在处理大幅面装配图或格式复杂的旧版图纸时,人工肉眼排查的效率瓶颈显得尤为突出。

zxy916740139的博客 509

大语言模型LLM综述解读:从预训练到评测,建立理解 LLM 的技术地图

本文综述大语言模型(LLM)的核心技术脉络,从预训练、适配调优、使用方法到能力评估,系统梳理了模型发展中的关键问题与进展。强调高质量数据、结构设计、指令微调与参数高效方法的重要性,并指出模型“符合人类偏好”不等于“工程正确”。提出需结合外部验证机制评估实际应用能力,尤其在专业领域如网络配置中,应重视格式合规性与约束满足性。

Soari的博客 314

企业内网知识库本地部署AI:档案合同检索的落地踩坑记

单位档案室堆着十几年的合同和公文,找一份三年前的采购协议得翻半天——这个问题我们团队在新疆几家政企单位都遇到过。这篇文章适合正在考虑本地部署大模型做私有知识库的技术负责人和运维工程师看。读完你能搞清楚:内网环境下 RAG 怎么搭、文档解析有哪些坑、以及为什么“数据不出内网”这件事比模型选型更值得先想清楚。先说结论:本地部署知识库不是买个显卡装个模型就完事,真正花时间的是文档清洗和检索调优。本地部署 AI 知识库,模型选型反而是最简单的一步。真正决定成败的是文档解析质量、切分策略和权限设计。

cyxq99的博客 346

RAG 运维与 AI Agent 运维岗位拆解:技术边界、运维对象与能力清单

本文从运维工程视角解析RAG知识库与AIAgent系统的新故障面,提出两大新岗位:RAG侧聚焦数据链路(解析→索引→检索→重排),Agent侧关注行为链路(规划→工具调用→执行→反馈)。两者复用容器、K8s、监控告警等传统底座,新增能力涵盖切分调优、向量库运维、评测流水线、多Agent编排与自动恢复。建议企业先接入AI链路指标,再按能力清单补强短板,推动大模型应用向生产级运维演进。

495

一种针对平铺 Token 语言模型的白箱、先验完备替代方案

序位逻辑(OPLogic)提出一种白箱、先验完备的平铺Token语言模型替代方案,将自然语言建模为分层标注的格点结构。通过双列表⟨P-ID, Z-GE⟩编码字符,短语表示为多列表态射链,验证三公理并构建言-语范畴,证明格点完备性与无幻觉定理。孪生图灵机(TTM)实现全局测序定位,复杂度O(G·D),优于自注意力的O(n²d)。二者代表不同本体论:前者以结构化构造意义,后者以概率逼近。理论根植于融智学(1993–2026)长期积累。

geneculture的专栏 187

明确边界:在AI工程实践中重构自我定位

分析在AI应用的过程中,人应该如何参与进去:通过AI去解决人无法分析的问题,但是这个过程中又需要人去判断,比如安全的边界和决策。从开始无法理解这种情景下存在的一定矛盾性,到通过不断实践后确定自己在整个过程的位置,达到能够更有针对性的补充知识体系的目的。

CC_77123的博客 214
上一篇: 【书生大模型实战营(暑假场)】基础任务五 OpenCompass 评测 InternLM-1.8B 实践
下一篇: 【书生大模型实战营(暑假场)】进阶任务三 LMDeploy 量化部署实践闯关任务
Syntax_CD
博客等级 码龄9年 439粉丝 39原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址