H2研究阅读室 · 中文图解
AGENT RESEARCH / FIELDNOTES 001中文阅读版 · 2026.10

让 AI 改进
自己的工作方法

不换一个更聪明的模型,而是让同一个模型,学会更好地使用工具、完成任务,并把改进经验留给下一次。

两层相连的循环:当前任务的执行改进,以及面向后续任务的经验积累AI模型参数不变改进工作方法积累改进经验EXECUTE → IMPROVE → LEARN
不只把这次做对,也学习下次怎样改进。
Google Cloud AI Research × Northwestern University论文 v1 · 2026-10-09面向产品经理 · 非官方解读
阅读说明这不是逐句硬译:保留关键机制与实验条件,用中文图解解释它的价值与边界。标为「应用设想」的内容不属于论文结论。
01

先用一分钟,抓住这件事

过去,人给 AI 设计工作流程。Harness² 想让 AI 参与改进这套流程,并积累「怎样改进才有效」的经验。

THE IDEA IN ONE SENTENCE

不是反复润色同一份答案,
而是修改产生答案的工作系统。

01

改方法,不改大脑

模型参数保持不变。它编辑指令、技能、脚本等外围组件,再用新方法重新执行任务。

02

看执行差异,不等标准答案

没有现成答案时,比较改动前后的过程与产物,寻找改动是否奏效的证据。

03

留下经验,不盲目继承

新任务从共同的基础配置开始,按需参考之前的组件与经验,而非照搬上一次整套配置。

04

能改善,不保证正确

作者报告了多组性能提升,也记录了错误选择与效果回退。自动优化不能替代独立验收。

项目定位:开源研究框架,不是新基础模型,也不是 Google 正式支持的商用产品。文中实验结果均为作者报告,本阅读版没有独立复现。

来源:论文摘要、§2 与附录 E.6;仓库 Disclaimer。

02

Harness,究竟是什么?

把模型理解为员工的能力,Harness 就像员工的工作手册、工具台和协作规则。

同一个员工,拿到不完整的材料、模糊的要求和难用的工具,表现可能很差;换一套清晰的操作方法与检查机制,表现就可能改善。这是理解 Harness 的类比,不代表系统真的改变了模型本身。

图 01 / 一个 Agent 的可改进外壳点选组件,查看例子
Model负责理解与推理
+
Harness决定怎样工作
=
Agent能执行任务的系统

Skills · 把专业方法变成可调用的能力

例如,把多份源文件对账的方法写成一份技能说明,让 Agent 在遇到相关任务时读取,而不是每次临时想一套流程。

这里改变的是「怎么做」,不是给模型重新训练。知识是否适用,仍要结合当前材料核实。
根据论文 Figure 2 与附录 D.3 重绘。示例为帮助理解而改写,不代表项目内置了所有这些业务能力。
↳

“改工具说明”不等于“自动获得任何工具”Skill 可以告诉 AI 怎样调用某个服务,但不会凭空带来 API 权限、数据许可或原生 Office 编辑能力。外围组件仍要在实际运行环境中生效。

对应原文:§2.1、附录 D.3:八类可编辑组件。

03

一次改进,怎样发生?

先执行一次,再提出两类改法,用同一个任务试跑,最后有选择地组合。

想象 Agent 需要根据多份文件制作一份工作备忘录。初次产物看似完整,却没有核对文件之间的数字,也没有重新打开生成文件检查。Harness² 不只是让它“再认真一点”,而是修改导致这些遗漏的工作方法。

图 02 / 跟着一项多文件任务,走完改进循环交互讲解 · 非实时 AI 运行

先看到问题发生在哪里

基础 Agent 执行当前任务,留下操作过程和最终文件。这个记录告诉我们它做了什么,却不自动说明答案对不对。

论文中的执行记录同时包含 trajectory(过程)和 deliverable(产物)。

可以观察到的证据
读取了材料,却未交叉核对数字
写出了文件,却未重新打开检查
产物存在,不代表任务已被正确完成
1 / 5 · 基于论文案例的中文重述
Propose → Probe → Compose 是任务内的核心三步;基线在前,经验反思在交付之后。示例取材于论文 §4、Figure 9,并做了通俗化改写。

通用改法:工作习惯哪里有问题?

例如,先盘点输入文件,给数字标注来源,生成文件后用脚本重新打开。这些方法可能适用于多种行业。

领域改法:专业方法哪里缺失?

例如,如何核对排期、场地、人工和预算文件,如何处理特殊数字格式。这些方法依赖具体业务。

≠

Compose 不是把两个 Prompt 简单拼起来它可以合并有依据的修改、修正冲突、只采用一个候选,甚至保持原配置。组合之后还要重新执行,而不是直接把候选答案拼接成一份新答案。

对应原文:§2.2.1:Propose–Probe–Compose、§4:JobBench 案例。

04

为什么是「平方」?

一层改进「这次怎么做」,另一层积累「下次怎么改」。平方指向两层递归,不是性能翻倍。

图 03 / 两层循环,连接现在与下一次核心架构
任务层:基础配置到提案、试跑、组合、交付;跨任务层:反思后写入经验库,为新任务提供按需参考。第一层 · 当前任务内模型与环境保持一致基础配置先执行一次提出改法通用 / 领域试跑与对比过程 + 产物选择性组合修改配置,再执行交付结果采纳 ≠ 最优保证可以在预算内继续改进反思改进经验库可复用配置 + 适用条件 + 执行证据第二层后续任务按需参考每个新任务重新从基础配置出发,不机械继承上一个任务的整套配置。
根据论文 Figure 3、§2.3 重绘。手机可横向滑动图解;经验库更新发生在当前任务结束后。

经验库中的一个条目,不只是“这个办法很好”,而是记录:什么场景、改了什么、看到了什么证据、下次适用的条件是什么。项目用可执行的 Harness 加上 EXPERIENCE.md 保存这些信息。证据不足时,可以不新增经验。

图 04 / 想再多试一点:向宽处探索,或向深处改进
基础配置
→
候选组 A
候选组 B
候选组 C
→
共享证据
分别组合
→
选择产物

并行像同时请几个团队尝试不同改法,再基于共同证据形成多个组合版本。它扩展的是探索宽度。

图为 k = 3 的概念示意。实际会生成 k 个通用候选、k 个领域候选与 k 个组合版本;不是简单挑一份原始答案。

!

这还不是“无限自我进化”当前实现主要通过经验库改善后续改进,核心阶段流程并未无限递归重写;递归方式与预算预先指定。何时继续、何时停止的自动决策,是作者列出的未来方向。

对应原文:§2.2.2、§2.3、附录 G。

05

实验到底说明了什么?

作者在三个专业任务基准、四种模型与执行环境组合中,报告了单步改进带来的提升。

+11.5分
WorkBuddy-Bench
GLM-5 · OpenCode
64.2 → 75.7
+4.5分
JobBench
Gemini 3.5 Flash · OpenCode
31.5 → 36.0
+11.8个百分点
LAB · 条目通过率
GLM-5 · OpenCode
59.6% → 71.4%

上面是各基准报告的最大单步增益,来自不同配置,不能合并为一个“平均提升”,也不能等同于真实用户任务成功率。

图 05 / 切换配置,看提升是否一致论文 Table 1–2

办公、网页与代码任务

+11.5分
基础配置
64.2
Harness²
75.7

GLM-5 / OpenCode:平均分 64.2 → 75.7。WorkBuddy 数值为三个领域的平均评分。

展示作者三次运行的均值;波动范围见原表。本图只比较基础配置与单步 k = 1,不把额外递归混入提升。默认编辑模型为 Claude Opus 4.8,故不是“没有额外模型调用”。

是不是仅仅因为“多花了算力”?

不能只凭基础配置与优化配置的对比,就把全部提升归因于方法。作者另做了计算开销比较和消融实验:固定条件后,分别去掉经验库、提案分工和组合步骤,看效果如何变化。以下是 Gemini 3.5 Flash / OpenCode、k = 1 的结果。

表 01 / 拿掉一个机制后,效果怎样变化?(论文 Table 3)
实验设置WorkBuddyJobBench怎么理解
完整 Harness²77.536.0三项机制都保留
不读写经验库74.434.2之前试过的方法不再帮助后续任务
不区分通用 / 领域提案74.632.3候选数量不变,但诊断角度不再分工
不组合,只选候选75.934.1无法整合不同候选中有效的改动

这些结果支持三项机制在该实验设置中的作用,不代表它们的贡献可以相加,也不证明所有业务上都成立。论文的计算开销分析计入了交付前的执行与改进 Token。

一个更直观的办公案例

BEFORE / 基础执行

文件生成了,核对没做完

未对多份源文件的数据进行一致性核对;生成后没有重新打开文件验证。

43.1
→修改工作方法
AFTER / 组合后重跑

补齐对账与产物检查

加入输入清点、来源追踪、重新打开验证,以及专业对账 Skill 与数字格式说明。

77.8

论文 Figure 9 的单个 JobBench 案例,Gemini 3.5 Flash / OpenCode。评分是事后评估,不是优化时可见的反馈;不能作为整体平均效果。

数据来源:§3、Table 1–2;§4、Table 3、Figure 9。基础模型固定,不意味着总成本固定。

06

没有标准答案,为什么仍需测评?

系统能看见“工作行为发生了变化”,却未必能证明“用户得到了正确结果”。

看到了改变新增了校验步骤
确实重新打开了文件
→
获得局部证据文件可以打开
部分数字通过核对
≠
保证整个任务正确业务口径、遗漏项、结论
可能仍有问题

论文刻意把两件事分开:优化时不看标准答案与评分细则;研究结束后,用独立基准评价效果。“不靠标准答案来改进”,不等于“不需要评测来证明改进”。

实际被选中
55 分

系统选择了较差的候选

vs.
未被选中的候选
95 分

事后评分显示它更好

论文附录 E.6 的一个 WB-code 失败案例。分数是事后评价,优化系统当时看不到;九个回退案例也不等于整个系统只有九次失败。

共同的错误前提,可能被一起放大

两个候选如果相信同一条错误假设,相互比较也不能自动纠正它。执行更顺畅,不代表业务判断更准确。

多跑几轮,要付真金白银

提案、候选试跑、组合、选择与反思都可能消耗模型调用。并行能缩短部分等待,但不会消除计算开销;论文未给出通用的最优预算。

经验有效,不代表处处有效

旧任务中的方法未必适合新任务。过时经验、相互冲突的规则和不断增长的上下文,都需要后续管理。

研究默认设置,不等于生产安全配置

仓库提示:执行器网络默认不受限,Codex 沙箱关闭。接入真实文件前要隔离运行环境、限制权限,并防止读取公开测评答案或评分细则。

THE IMPORTANT DISTINCTION

把自动改进当作候选方案生成器,
不要直接当作上线批准器。

对应原文:附录 E.6、附录 F–G;README:Web access。上线门禁建议为本文分析。

07

把它放进办公 Agent,会怎样?

应用设想 · 不是论文已验证结果

最值得借鉴的,不是“让 AI 随便改自己”,而是把失败记录变成可验证的能力改进。

以“根据课件生成课堂练习与答案”为例。生成内容之后,可能发现题目超出材料、答案有误,或导出的文档无法正常编辑。与其立刻让 AI 重写整套专家,不如先定位是哪一种失败,再测试最小改动。

01 / 观察

留住失败证据

输入材料、使用的版本、工具记录、输出文件和人工修改。

02 / 提案

尝试两类改法

通用层补文件检查;专业层补知识范围与答案核对。

03 / 验证

独立验收

用保留任务、确定性校验和教师抽检,防止自评自证。

04 / 发布

小范围采用

记录版本与适用条件;效果回退时能够撤回。

表 02 / 一组小而清楚的产品实验,而不是马上重建平台
实验组配置回答的问题
A · 基线现有 Agent / 专家包当前能做到什么程度?
B · 人工改进根据同类失败,人工修改方法现有产品与研发经验能带来多少改善?
C · 自动改进借鉴 Propose–Probe–Compose自动方案能否减少人工改造投入?
D · 等预算多试不改 Harness,只增加原配置运行与选择提升来自改方法,还是仅仅来自多花算力?

各组都用同一套独立验收。固定执行模型、工具权限与任务分布,完整记录改进成本;保留未参与调优的任务,并对关键任务重复运行。先离线试验,经过人工审查后才考虑真实流量,不把线上用户当无保护的试验对象。

↗

产品经理最值得盯的,不只是平均分有效任务成功率、关键错误率、人工核验与返工时间,以及每次有效交付的总成本。一个得分更高、但让用户检查更久的方案,未必值得上线。

这也解释了测评的价值为什么没有消失:当改方案越来越容易,决定什么值得改、什么算变好、多少成本值得付、何时可以放行,反而成为连接技术能力与真实产品价值的工作。

本节为基于论文机制的产品应用推演;课堂示例、实验分组与发布门禁均是建议,尚未运行或证明在具体业务中有效。

08

从读懂,到一次小步试验

先看流程是否跑得通,再验证真实效果。不要把“Demo 成功”当成“产品可上线”。

产品同学先准备什么?

选一类有反复需求、结果能检查的任务;找几份公开或脱敏材料;写清哪些错误不可接受,保存一组不参与调优的验收样本。

和研发一起确认什么?

哪些组件允许修改、工具权限在哪里、如何记录完整过程、一次实验的成本上限,以及失败后怎样恢复原版本。

清单只保存在当前浏览器,不上传信息。

给技术同事:最小本地 Demo 怎么运行?

仓库建议 Linux、Python 3.12 与 uv。下面运行的是无模型凭据的流程演示:使用确定性编辑器与真实 Python 执行,不代表大模型自主优化效果,也不是复现论文分数。

来自官方 README · 本阅读站不会执行命令
git clone https://github.com/google-research/harness2.git
cd harness2
uv venv --python 3.12 .venv
source .venv/bin/activate
uv pip install -e '.[render]'
harness2-demo --output runs/demo --k 2

真正的模型实验还需要模型鉴权、基准依赖与独立评测步骤,并会产生 API 成本。先执行官方环境检查,从极少量任务开始;不要直接接入生产文件或敏感凭据。

完整安装说明 ↗ · 实验与复现指南 ↗

不用先读代码:按这条路线看仓库
README.md 项目定位、安装、执行与安全提示 docs/ 环境准备、基准与实验指南 harness2/ 核心运行与递归改进实现 tests/ 项目自身的代码测试 runs/ 运行后生成的产物与记录

runs/ 是执行后产生的结果目录,不是“下载仓库就有的实验结果”。代码测试通过,也不等于业务任务质量通过。

技术说明依据官方仓库 README;试验准备清单为本文建议。

09

原文、术语与继续阅读

理解机制后,推荐回看论文 §2、§4 与附录 E.6、F。前两部分解释“怎么改、为什么有效”,后两部分防止把研究结果理解成可靠性保证。

来源与授权:论文采用 CC BY 4.0,本文对其内容进行了中文编译、取舍与图解重绘,原作者保留署名;代码仓库采用 Apache 2.0,第三方数据与基准遵循各自许可。本页不是论文的官方翻译,不代表 Google、Northwestern University 或 Kami 的认可。所有指标对应所注明的论文版本,不承诺随仓库自动更新。查看 CC BY 4.0 ↗

论文作者:Ruiyao Xu、Yanfei Chen、Zhongying CuiZhu、Bhavana Dalvi Mishra、Yifei Ming、Han Yu、Rujun Han、Chen-Yu Lee、Tomas Pfister。中文阅读版整理:2026-10-30。

TAKE THIS WITH YOU

AI 不一定要先变得更聪明。
它也可以先学会,更好地使用自己。

但谁来证明它真的做得更好?
这正是产品判断、独立测评与真实用户反馈应该接上的地方。

术语,用人话说

这些解释为通俗化类比;精确定义以论文为准。