笔记 · Vibe Coding ·

干活的和验收的要分开

让一个 Agent 写、另一个挑剔的 Agent 像用户一样验收,长任务效果明显更好;而且每次换新模型,都该删掉不再需要的部分。

读书笔记原文:《Harness design for long-running application development》↗Prithvi Rajasekaran · Anthropic

为什么读

我想知道让 AI 连续干几个小时、做出一个完整应用,到底需要怎么安排。这篇有具体实验和花费,比空谈靠谱。

我记下的要点

  1. harness 是什么。 可以理解成套在模型外面的“工作流程和工具架子”:谁先做什么、怎么交接、用什么检查。这篇就是在调这个架子。
  2. Agent 会高估自己的作品。 尤其是设计这种主观的活。与其让它自我批评,不如单独设一个调得很挑剔的评审 Agent。
  3. 三个角色:规划、生成、评审。 规划者把一两句需求扩成产品说明;生成者一次做一个功能;评审者用浏览器自动化工具像真实用户一样点页面、查接口。开工前两边先约定好“做到什么算完成”。
  4. 贵,但差别很大。 做一个复古游戏编辑器,单个 Agent 20 分钟、9 美元,核心玩法是坏的;整套流程 6 小时、200 美元,角色能动了,功能也更完整。
  5. 评分标准的措辞会影响风格。 前端实验里,把“设计质量”和“原创性”权重调高,能把模型从千篇一律的 AI 风格里拉出来。
  6. 每个组件都是对模型短板的假设。 换成更强的模型后,他们逐个拿掉组件测试,删掉了分阶段的设计,只保留规划者和最后一轮评审。

我的想法

“自己做的自己验收不靠谱”这件事,在人身上也成立。我建站时让 Claude 在浏览器里看页面,其实已经是一种验收,但那还是同一个 Claude 在看自己写的东西。

第 6 点对我很有用:流程不是越复杂越好。模型变强了,原来必要的步骤可能变成负担。我还不太会判断哪些步骤是“承重的”,这可能要靠多看几次 Agent 的实际过程才能慢慢有感觉。

我打算试试

  • 下次做页面,先写几条“做到什么算完成”的验收标准,再开工
  • 改完后开一个新对话,只让它按标准挑毛病