Harness设计——Anthropic实战:规划器、生成器、评估器三角色协作详解

Claude 3 工具使用功能在 Harness 中的实践 本文将深入探讨如何将Claude 3的工具使用功能集成到Harness平台中,以解决上述痛点。Claude 3的工具使用功能允许模型不仅生成文本,还能调用外部工具和API,执行特定任务并根据结果进行迭代。而Harness则提供了丰富的API和扩展点,使这种集成成为可能。自然语言流水线配置:用自然语言描述所需的流水线,由AI自动生成配置。智能故障诊断:AI自动分析失败的流水线,识别问题并提供修复建议。自适应自动化:AI根据上下文动态选择和调用适当的工具,执行复杂的DevOps任务。实时文档生成。 阅读详情

在这里插入图片描述

Harness 设计是实现智能体编码前沿性能的关键。本文介绍了Anhtropic如何推动 Claude 在前端设计和长期自主软件开发方面更进一步。

有两个相互关联的问题:

  • 让 AI Agent 生成高质量的前端设计。
  • 让它无需人工干预就能构建完整的应用程序。

这项工作源于我们早期在前端设计技能和长期运行编码智能体框架上的努力。当时,我和同事们能够通过提示工程和 harness 设计将 Claude 的性能提升到远高于基准线的水平——但两者最终都遇到了瓶颈。

瓶颈有哪些?

工程瓶颈——上下文窗口

我们之前已经证明,harness 设计对长期运行的智能体编码的有效性有着重大影响。在早期的一个实验中,我们使用了一个初始化智能体将产品规格说明分解为任务列表,以及一个编码智能体逐个功能地实现这些任务,然后移交工件以跨会话传递上下文。更广泛的开发者社区也得出了类似的见解,像“Ralph Wiggum”方法这样的方法使用钩子或脚本来让智能体保持持续迭代循环。

但有些问题仍然存在。对于更复杂的任务,智能体仍然容易随着时间的推移而偏离正轨。在分解这个问题时,我们观察到了智能体在执行这类任务时的两种常见失效模式。

  • 随着上下文窗口填满,模型往往会在冗长的任务上失去连贯性(请参阅我们关于上下文工程的文章)。
  • 一些模型还表现出“上下文焦虑”,即当它们接近自己认为的上下文限制时,会开始过早地结束工作。

上下文重置——完全清空上下文窗口并启动一个全新的智能体,同时结合一个结构化的移交过程,该过程携带前一个智能体的状态和后续步骤——解决了这两个问题。

这与压缩(compaction)不同,压缩会就地总结对话的前面部分,以便同一个智能体可以在缩短的历史记录上继续运行。虽然压缩保持了连续性,但它没有给智能体一个全新的开始,这意味着上下文焦虑可能仍然存在。重置提供了一个全新的开始,但代价是移交工件需要有足够的状态,以便下一个智能体能够顺利地接续工作。

仅靠压缩不足以实现强大的长任务性能,因此上下文重置成为 harness 设计中必不可少的一环。这解决了核心问题,但增加了每次 harness 运行时的编排复杂性、令牌开销和延迟。

读者可以翻看笔者之前的Harness在KCD演讲可视化相关的实战。在实战中,每个任务笔者都采用了全新的上下文窗口,连接在文章末尾。

建立客观指标的必要性——自视过高

我们之前未提及的第二个问题是自我评估。当要求评估自己生成的作品时,智能体往往会自信地赞美这些作品——即使在一个人类观察者看来,其质量明显平庸。这个问题在主观性任务(如设计)中尤为突出,因为这类任务没有像可验证的软件测试那样的二元检查。“一个布局是精致还是普通”是一个主观判断,而智能体在评价自己的作品时总是偏向于给出正面评价。

然而,即使在那些结果可验证的任务上,智能体有时也会表现出糟糕的判断力,这阻碍了它们完成任务时的表现。将执行工作的智能体与评判工作的智能体分开,被证明是解决这个问题的有力手段。但分离本身并不能立即消除那种宽容倾向;评估器仍然是一个倾向于对 LLM 生成的输出持宽容态度的 LLM。然而,将一个独立的评估器调教得具有批判性,比让生成器批判自己的作品要容易得多。一旦存在这种外部反馈,生成器就有了可以据此进行迭代的具体依据。

词与词的权重关系在同一个大模型内部是一致的,如果不切换权重分布,更换大模型的话。且不说切换只是从一个权重换到另一个权重,类似两个三观不合的人吵架,根本吵不到点上。我们确实需要一个客观的方法来指导模型让它知道什么是好的,也就是设计约束。

突破瓶颈

为了突破瓶颈,我们需要为任务设计

Harness Engineering 工程实践 任务越复杂,消耗的上下文越多,关键信息被压缩,决策质量下降,又产生更多错误,需要更多修复,又消耗更多上下文……程序记忆记录成功的操作步骤,比如"添加 API 端点的标准五步流程,成功率 90%",新的子代理执行同类任务时会先查这里。到了重构、新模块这种结构性变更,子代理还得在 Git Worktree 里隔离执行——相当于仓库的临时副本,成功了合并,失败了丢掉,不污染主分支。“教得更好"这条路有天花板——写更详细的 system prompt,提供更多示例,规则会随代码演进变化,你永远追不上。 阅读详情

相关推荐

Learn Harness Engineering 教你构建完整的"harness"环境,让AI代理可靠完成真实工程任务,从0到1官方风格入门教程

使用AI编程助手时,常常遇到模型聪明却不靠谱的问题:代码写得飞起,却跳步、坏测试、早早喊"done",结果一堆烂摊子需要手动修。 Learn Harness Engineering 教你构建完整的"harness"环境,让AI代理可靠完成真实工程任务,从0到1官方风格入门教程。 不仅有12节沉浸式讲解+6个实战项目,还提供现成模板(AGENTS.md、feature_list.json、init.sh等),直接拷进项目就能提升稳定性。 主要功能: - 5大核心子系统:指令、状态、验证、范围、会话生命周期; - 实战演进Electron知识库桌面应用,从prompt-only到完整harness; - 资源库模板,支持Claude Code、Codex等多代理工具; - PDF课程手册+可视化文档网站,中英文双语; - 快速上手skills/harness-creator/,几分钟生成生产级工作环境。 支持本地运行(npm install && npm run docs:dev),适合工程师、研究者和技术负责人使用。

Python异步协程爬虫优化:解决aiohttp中ServerDisconnectedError的高效策略

本文深入探讨了在Python异步协程爬虫中使用aiohttp时,如何高效解决常见的ServerDisconnectedError问题。核心策略包括全局复用ClientSession、精细配置TCPConnector连接池、实施请求重试与速率限制,从而构建稳定、高效的异步爬虫架构,有效避免服务器断开连接错误。

pz890123的博客 863

MYSQL、ORACLE、PostgreSQL数据库对象层次及权限管理对比

本文为出于自己扩展、比较、图形化的思维路径自行总结归纳,可能有些细节不太准确,欢迎指正。MySQL、Oracle、PostgreSQL关系型数据库都有管理员用户、用户、权限管理、表函数索引等数据库对象,schema。但在数据库对象隶属层次上有差异和相同的地方。

rachel_2016的博客 1491

Unity坦克物理系统:履带驱动与力场建模实战指南

在游戏物理仿真中,履带车辆的运动建模远超传统轮式控制器的范畴。其核心在于摒弃WheelCollider的滚动幻觉,转向基于牛顿力学的力与力矩协同求解——通过主推进力场、转向力矩场和地面反作用力场三重叠加,实现对质量、摩擦、惯性及坡度阻力的真实响应。这种建模方式不仅支撑坦克爬坡、陷泥、侧倾等复杂行为,更保障了多人同步与高帧率下的物理稳定性。Physics Tank Maker 正是这一思路的工业级落地,它将PhysX底层机制与坦克动力学深度耦合,提供可调参数、事件驱动视觉反馈及标准扩展接口,成为面向严肃模拟类

weixin_29535577的博客 565

在VS2019里把JSBSim飞行模型集成到你的C++项目里(附完整配置流程和常见错误解决)

本文详细介绍了如何在Visual Studio 2019中将JSBSim飞行模型集成到C++项目中,包括环境准备、源码编译、项目配置和常见错误解决方案。通过实战技巧和优化建议,帮助开发者高效实现高精度飞行仿真功能,提升开发效率。

weixin_42620202的博客 416

ANSYS APDL生死单元实战:焊接模拟从入门到精通(附完整命令流)

本文详细介绍了使用ANSYS APDL进行焊接模拟的核心技术——生死单元法。通过一个完整的平板对接焊案例,从原理剖析、模型搭建、命令流编写到移动热源施加和后处理,手把手指导工程师掌握这一动态仿真方法,有效预测焊接过程中的温度场、残余应力与变形。

k6l7m8n9的博客 154

JA3已死,JA4当立:2026年TLS指纹识别技术深度解析

从JA3到JA4,本质上是TLS指纹技术从"简单粗暴"到"工程化设计"的进化。排序机制解决了浏览器随机化的核心痛点,结构化格式提升了可读性和可运维性,多协议扩展适配了最新的网络环境。2026年的今天,JA4已经从"新技术"变成了"基础设施"。对于安全从业者来说,理解JA4的原理和局限,合理运用到反爬、反欺诈、威胁狩猎场景中,是一项必备的基础技能。但也要清醒认识到,没有任何单一指纹是万能的。

专注于Python爬虫开发,分享爬虫技巧、项目实战与反爬经验,使用Scrapy、BeautifulSoup等工具,解决数据抓取难题。 357

AppStore逆向分析(登录、查询、下单)

某网站全协议流程逆向与分析(自动登录、激活、查询、下单)

吴秋霖的博客 3042

Windows远程桌面开发之九-虚拟显示器(Windows 10 Indirect Display 虚拟显示器驱动开发)

by fanxiushu 2019-06-24 转载或引用请注明原始作者。 这里与远程桌面关系不是太大,但这个部分是xdisp_virt远程控制程序的实现多显示器桌面扩展的子功能,因此也归为远程桌面开发一类。 这篇文章与之前发布的...

fanxiushu的专栏 2万+

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

上一篇: Anthropic 经济指数报告:学习曲线
下一篇: Harness the power of AI:从 vibe coding 到上下文工程的演进之路
oe1019
博客等级 码龄15年 235粉丝 294原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址