深度研究报告 · 基于演讲原文与交叉证据

所有代码都是垃圾,除了我的 Lauren Tan(poteto)在 AI Engineer Code Summit 2026 的演讲,以及它背后的「信任工程」方法论 —— 一场把 11,000 个 PR 变成可复核命题的拆解。

这不是一篇转述演讲的读书笔记。核心问题是:一个团队月合并约一万一千个 PR、回滚率却只有约 0.5%,这件事究竟证明了什么、不证明什么,以及你能否复制它。答案是:证明的不是 智能体 更聪明,而是「环境比提示词重要」;复制的门槛不在工具清单,而在顺序。

基准文档:赛文视点译稿《Lauren Tan 演讲全文:所有代码都是垃圾,除了我的》(微信公众号,2026-11-15)
一手来源:Lauren Tan, All Code Is Slop (Except Mine), AI Engineer Code Summit(旧金山,2026-11-11;视频 11-14 发布,约 18 分钟)
交叉证据:DORA 2025/2026、LinearB 810 万 PR 数据集、SCAM 2026 / arXiv 三篇实证研究、pstack 开源实现、YC 访谈与现场推文
方法:先立可证伪论断,再逐条配证据并标注强度;正反证据同列;所有数字注明口径与来源层级。
日期:2026-11-16

00 / EXECUTIVE SUMMARY十张卡片:先读结论

以下每条都是可证伪的判断。带 反证据 的条目表示演讲自身数据不足以支撑,需要打折看待。

C1
瓶颈已经从「写代码」迁移到「验证与信任」。
11,000 PR 不是模型能力的证据,而是环境投资的产出。行业基线恰好相反:AI 采用率上升伴随交付吞吐量上升、稳定性下降,评审耗时上涨 91%。大样本观察
C2
把每一次纠错固化成确定性检查,而不是再加一行规则文字。
这是演讲唯一最重要、也最可迁移的动作。学术侧佐证:100 个热门仓库中 91% 的 智能体 配置文件至少有一种「配置异味」,最高频的就是把 lint 规则抄进提示词(62%)。论文 · n=100
C3
代码库是智能体最大的上下文输入,反模式的复制是复利式的。
一处 workaround 会被下一个智能体读作「既有规范」。清理花园的优先级高于追加规则,因为杂草会自我繁殖。单一案例 + 机制推导
C4
需要微妙技巧才能用对的 API,应当从产品代码中删除,而不是教育智能体正确使用。
Dune 禁用 useEffect、禁止跨进程 import:约束成本由框架一次性承担,而不是每个 PR 重复支付。单一案例
C5
注释与 Markdown 是「无强制力的说服」,智能体会用它给错误行为辩护。
定时器案例中,智能体写下大段注释解释补丁的合理性,下一个智能体照抄。Grok Bot 禁掉约 99% 注释,改用会 fail 的 lint 错误信息承载「为什么」。单一案例
C6
代码评审正在从「读 diff」变成「审验证产物」。
视频、截图、状态图、形式化证明成为评审对象;演讲称大部分 token 花在验证上,第三方工程师自报约 70%。自报
C7
形式化验证不是新技术,而是刚刚变得「划算」。
TLA+、Lean、属性测试早已存在,过去因难写难维护被跳过;智能体把编写与维护成本压下来,这才是「验证黄金时代」的经济学本质。机制推导
C8
标题数字必须打折:PR 数是弱指标,回滚率无法单独证明质量。
11,000 是约 227 名贡献者的团队数字,个人约 3,000;回滚率 0.47% 无法区分「没出错」与「fix-forward 掩盖问题」。更强的证据是:高速发布下启动、打字、切聊反而更快。反证据
C9
顺序不可颠倒:内部循环产垃圾时,自动化只会更快地生产垃圾。
地基(代码库 → 静态分析 → 验证)先于工厂(并行智能体 → 自动合并)。演讲者自称花了六个月。单一案例
C10
即使验证层建成,瓶颈也只是上移到「意图对齐」,不会消失。
YC 访谈中团队负责人说,产能提到每月数千 PR 后,新瓶颈是「我们这个团队对产品路线图的共识」。验证解决「做对」,不解决「做对的事」。访谈自报

一句话判断

这场演讲真正值得复制的不是 11,000 这个数字,而是一条成本重排原则:把判断力从「每次都要人读的文字」搬到「机器每次都会执行的约束」里。它的证据强度是「一个高能力团队的自报案例 + 若干独立研究的旁证」,足以作为行动假设,不足以作为因果定论。

01 / PROVENANCE先把数字钉牢:来源谱系与口径对照

基准文档是中文译稿,属于二手转述。它给出了完整的叙事骨架,但关键数字需要与更接近现场的记录对照。这一章只做一件事:把「谁说的、什么口径、证据多强」说清楚,后续所有分析都建立在这张底表上。

1.1 来源谱系

层级来源性质与用途
一手 · 原始事件AI Engineer 频道视频 All Code Is Slop (Except Mine),会议 2026-11-11,视频 11-14 发布,约 18 分钟演讲者自报数据与原始论证; conference 页面与视频简介可核对标题、讲者、时间戳。
近一手 · 现场记录现场观众推文(@rae1101x 等)转述的图表数字;讲者本人 X 帖(2026-11-14)补齐译稿中被口语化或省略的精确数值,如 3,127 / 10,926 / 0.47%。
二手 · 基准文档赛文视点译稿(微信公众号,2026-11-15)叙事结构、论证顺序、案例细节的主要依据;数字以演讲者原话为准,译者已声明按原意修正字幕误听。
独立旁证DORA 2025/2026、LinearB 810 万 PR 数据集、三篇 2026 年论文(SCAM 2026 / arXiv)提供行业基线与机制验证,用来判断「这是普遍规律还是孤例」。
实现佐证pstack 开源仓库(Cursor plugins)、YC 对团队负责人 Roman Ugarte 的访谈检验方法论是否真的被固化成工具,以及产能上去之后的下一瓶颈。

1.2 关键数字:译稿 vs 更精确记录

指标译稿 / 通常引用更精确记录口径说明
个人月合并 PR「3,000 个」3,127(10 月);3 月为 68;3–10 月累计 10,732现场观众从演讲图表读出的数字,个人口径。
团队月合并 PR「11,000 个」10,926(10 月);6–10 月累计 23,370团队口径,含大量偶发贡献者;标题里的 11,000 是约数。
回滚率「约 0.5%」0.47%,此前为 0.98%随发布量上升而下降——这是比绝对数值更重要的方向。
贡献者10 月约 227 人至少创建 1 个 PR同左意味着人均月 PR 并不夸张,规模来自参与者广度。
产能后续说法—YC 访谈中负责人称「现在每月约 4,000 PR」时间点与口径不同(可能是个人产能或更新后的数字),不可与 3,127 直接相减。
准备周期半年同左讲者自述;并称「你们花的时间会比我少得多」——这是预测,不是观测。
验证 token 占比演讲引用工程师 Cindy 的说法自报约 70% 的每日 token 用于验证第三方工程师自报,非受控测量。

证据强度使用说明

本报告把证据分为:受控实验(任务基准,有对照)> 大样本观察(数千至数百万 PR、数百配置样本)> 单一案例 / 自报(Grok Bot 自身数据)> 机制推导(由已知机制推出的工程动作)。演讲中的 11,000 PR、0.47% 回滚、99% 注释禁令都属单一案例自报:它们足以证明「这件事在其上下文中发生过」,不能单独证明「换你也能做到」。凡属推导或预测,文中均显式标注。

1.3 行业基线:为什么这个案例值得单独研究

如果行业普遍能用智能体提效且不掉质量,这个故事就不稀奇。实际情况相反。下表把外部观测放在同一个视野里——注意其中多条来自对原报告的二手转述,尚未逐字核对原报告表格,按「大样本观察(转述)」标注。

观测数字来源强度
AI 采用率提高 25% 的关联结果交付吞吐量 −1.5%,交付稳定性 −7.2%DORA 2025 官方摘要大样本调查
AI 生成 PR 的合并率32.7%,人工 PR 为 84.5%LinearB:4,800 团队、810 万 PR大样本观察 · 转述
AI 生成 PR 首次人工评审等待超过 16 小时,为人工 PR 的 4.6 倍同上大样本观察 · 转述
PR 体积AI PR 的 P75 超过 400 行,人工为 157 行同上大样本观察 · 转述
评审耗时 / 人均合并 PR评审耗时 +91%,人均合并 PR +98%同上大样本观察 · 转述
PR 停留在评审环节的中位时间同比 +441%;31% 的 PR 零人工评审直接合并DORA 2026 相关转述大样本观察 · 转述
主干构建成功率高 AI 采用团队约 70.8%,健康团队约 90%DORA 2026 相关转述大样本观察 · 转述

由此得到的判断

Grok Bot 的数字是反基线:行业里「生成变快 → 评审变慢 → 队列变长 → 稳定性下降」,它这里却是「生成变快 → 评审退化为看验证产物 → 回滚率下降 → 性能上升」。所以值得追问的不是「它用了什么工具」,而是它改变了流水线上的哪个约束。这正是 C1 与 C2 的起点。

02 / PARADIGM范式判定:从「写代码」到「造信任环境」

演讲开场把一件事说得很直白:智能体出现之前,没人担心「PR 数量」问题;现在每个人都能成为「编码机器」。于是软件工程师的工作定义变了——在大幅提高生产力的同时,维持甚至提升代码质量。这句话听起来像口号,但它可以拆成两条可比较的工作循环。

低信任循环|多数团队的现状 高信任循环|Grok Bot 的做法 智能体生成代码 人工逐行读 diff 口头纠正 / 加行规则 评审队列变长 返工与回滚上升 上下文越塞越满 规则没人记得住 代码库 + lint 约束 智能体自检 + 验证 审产物 / 自动合并 评审只看产物 错误在构建前被拦 回滚率逐月下降 性能反而提升 差异不在模型,而在智能体工作的环境:左侧靠人兜底,右侧靠机器兜底。
图 1|两种工作循环。左:生成加速把负担推给人工评审,形成越审越慢的闭环;右:把约束前置到代码库与验证,评审退化为检查产物。据演讲 00:17–02:03 及 15:11 段绘制。

2.1 「软件工厂」不是起点,是终点

演讲里有一个容易被标题盖过的提醒:在她把环境搭好之前,她自己花了半年才做到能发出成千上万个合并请求。她说的是「从低信任走向高信任」,不是「从零开始搭并行智能体」。行业数据支持这个顺序——当评审与验证仍按人类速度运行,增加生成端的产能只会把瓶颈推到下游(见 1.3)。用她自己的话说:

原话转述

「如果你的内部写代码循环产出的是垃圾,那么自动化这个循环只会产出更多的垃圾,你还得花越来越多的 token 来修复问题。」这是整场演讲中最接近因果律的一句,也解释了为什么第 11 章的路线图把「地基」放在「工厂」之前。

2.2 一个被忽略的分野:信任 ≠ 盲目信任

演讲者特意澄清:「不是盲目信任,而是往智能体的环境里投资,让你确信它们会把每件事都做对。」这句话把「信任」从心理状态改造成工程属性:信任是环境的输出,不是对模型的态度。可以用一个判别式来区分两种做法——

判别式 A · 强制力

违反这条规则时,是构建失败,还是只是「模型可能不听」?前者是确定性检查,后者是文字。

判别式 B · 复利

修一次之后,同类错误是永久消失,还是下个 PR 可能重来?前者改了环境,后者只改了产物。

判别式 C · 成本归属

约束成本是一次性由框架承担,还是每个 PR 都由人和 token 重复支付?前者是基础设施,后者是税。

后续四章(04–08)本质上都是这三条判别式在不同层次的展开。凡不满足 A 的,就别把它当防线;凡不满足 B 的,就不算「修好了」;凡不满足 C 的,规模化之后一定会出现 DORA 描述的验证税。

03 / MECHANISM理论根基:三条能推出工程动作的机制

演讲用了大量比喻——花园、杂草、混凝土基础、黄金。比喻好记,但不能替代推导。这一章把论证还原成三条机制,每条都给出「如果机制成立,那么应该做什么」的推论。推论若与演讲做法一致,才说明方法不是经验巧合。

机制一:上下文复制 —— 代码库是智能体的行为先验

智能体生成结果依赖输入,而代码库是最大、最稳定的输入源。在一个文件里被允许的写法,会被后续智能体统计性地当作「这里的惯例」。推论:一处未清理的 workaround 的危害,不等于它本身的一行代码,而等于它此后被复制的所有次数。这解释了为什么「先清花园」的收益高于「多加一条规则」。

机制可推导的推论对应工程动作证据类型
上下文复制反模式被下一个智能体当作既定模式;危害按复制次数放大清理旧反模式先于新增规则;让正确写法成为仓库里唯一显眼的写法单一案例 + 机制推导
强制力梯度文字规则只能"说服",机器检查才会"失败";说服力随上下文变长而衰减每次纠错转成 lint / 类型 / API 约束;文字只保留需要判断力的部分论文 n=100 + 实验
验证瓶颈生成端加速而评审端不变时,队列长度非线性增长投资让验证更便宜(自检、产物化、形式化),而不是让评审更慢大样本观察 + 建模

机制二:强制力梯度 —— 会失败的东西才是约束

注释、rules、AGENTS.md 都是「无强制力的说服」。它们的效果取决于模型是否注意到、是否理解、是否愿意遵守;而 lint、类型系统、编译器、依赖图分析器的效果是二元的——违反即失败。学术侧给了这条直觉一个有点刺眼的注脚:巴西 UFMG 团队对 100 个热门仓库的 智能体 配置文件做内容分析,91% 至少含一种「配置异味」,最高频的是 Lint Leakage(62%):把 lint 和 formatter 已经强制的规则又抄进每次会话都要加载的说明文件(arXiv:2606.15828,SCAM 2026)。

更关键的是两份对照实验给出的方向性结论:结构良好的说明文件能降低运行时间与输出 token(arXiv:2601.20404,10 仓库 124 个任务,中位运行时间 −28.64%、输出 token −16.58%,完成率持平,但仅测一种工具);而让 LLM 自动生成 的 context 文件在基准上略低于「没有文件」,同时把推理成本抬高 20% 以上(arXiv:2602.11988,ETH Zurich)。三者不矛盾:问题从来不在「要不要写说明」,而在「谁写的、写了什么、能不能被机器执行」。演讲的做法——99% 注释禁令 + 高信息量 lint 报错——恰好落在「能被执行」这一端。

机制三:验证瓶颈 —— 排队论视角下的「验证税」

把 PR 流水线看成一个服务系统:生成是到达率 λ,评审与验证是服务率 μ。用最简单的 M/M/1 近似,队列长度 L = λ / (μ − λ)。当 λ 上升而 μ 不动,L 不是线性增加,而是趋向发散——这正是行业数据里的现象:PR 评审停留时间同比 +441%、AI PR 首次人工评审等待超过 16 小时、合并率只有人工的三分之一。

这个模型直接给出三个可选动作

  1. 降低 λ:限制 AI PR 数量、设体积上限。有效但直接放弃产能优势,演讲没有走这条路。
  2. 提高 μ(人工侧):加人、加班、加评审激励。受限于资深注意力这种稀缺资源,且随 λ 增长会越来越贵。
  3. 提高 μ(机器侧):把验证变成可自动执行、可复用、可被智能体自己运行的产物——lint、运行时自检、形式化证明、属性测试。演讲选的是第三条,并把它表述为「代码 review 已经退化为分析验证产物」。

建模说明:上述公式是对队列行为的定性类比,不是对演讲数据的拟合;DORA 的观察是相关性,不构成「AI 导致不稳定」的因果证明。但两者指向同一个工程结论:在生成已经廉价的世界里,瓶颈与投资回报都在验证侧。

结论:为什么必须是这个形状

三条机制合起来解释了一个看似反直觉的组合:越信任智能体,越要投资于不依赖信任的机制。上下文复制要求清理输入,强制力梯度要求把规则编译成检查,验证瓶颈要求把评审产物化。它们共同推出同一个顺序——先代码库,再静态分析,再验证,最后才是文字与人工。这正是下一章的金字塔。

04 / THE PYRAMID信任金字塔:五层防线与成本梯度

演讲在 02:03 处展示了一张「Poteto Pyramid」倒金字塔。基准译稿重点讲了三层:确定性的代码库与静态分析、验证、描述性指令;更完整的现场记录给出了五层——在文字指令之下还有「人工审查」,作为成本最高、应当收缩到最小的一层。两种描述不冲突,后者只是把译稿里「直接让智能体自己合并大部分 PR」那一步显式画了出来。

Poteto 信任倒金字塔:越往上越确定,越往下越贵 确定性 区域 判断 区域 ① 代码库与架构 · Codebase API 设计 / 目录边界 / 持续重构 / 消除反模式 ② 静态分析 · Static Analysis Lint / 类型系统 / 编译器 / 测试 / 依赖图分析 ③ 验证 · Verification 运行时验证 / 形式化验证 / 属性测试 ④ 文字指令 · Prose Rules / Skills / AGENTS.md / 少量注释 ⑤ 人工审查 · Human Review 只看验证产物 / 处理例外 覆盖全部变更 · 一次投入 覆盖全部变更 · 边际成本极低 覆盖关键路径 · 中等成本 只覆盖判断型问题 · 持续成本 只覆盖例外 · 成本最高 每一层都在回答同一个问题:如何让智能体默认做对,而不是做对之后才被发现。
图 2|信任金字塔。宽度代表覆盖面,自上而下成本递增、确定性递减。据演讲 02:03 处幻灯片及现场记录补齐的五层版本绘制;基准译稿主要呈现前三至四层。

4.1 每层到底在防什么

层级典型失败模式工具与做法判断标准
① 代码库反模式被复制、边界模糊、同一件事有多种写法好的 API、目录隔离、删除过时代码、持续重构「正确写法是不是唯一容易写出的写法?」
② 静态分析跨进程误引用、禁用 API 被使用、格式与命名漂移lint 规则、类型系统、编译器、依赖图分析、单测与 CI「违反它会不会让构建失败?」
③ 验证能编译但跑不对、并发边界、界面闪烁抖动、跨端流程断裂Chrome DevTools 协议驱动运行、TLA+ 模型检查、Lean 证明、Bombadil 属性测试「有没有机器生成的可复核证据?」
④ 文字指令智能体靠注释为补丁辩护、规则越堆越长彼此冲突少量 skills、rules、AGENTS.md;只写需要判断力的事实「这条规则是否每次会话都需要且无法被工具拦截?」
⑤ 人工审查逐行读 diff 成为吞吐瓶颈审查视频、截图、状态图、证明;例外才升级到人「人看的是产物还是过程?」

最容易被做反的一层

很多团队遇到智能体写歪,第一反应是往 AGENTS.md 或系统提示词里再加几十条规则——也就是在第四层解决问题。金字塔的排序说:真正便宜且刚性的约束在第一、二层。UFMG 的配置异味研究正好量化了做反的代价:62% 的文件在重复 lint 规则,42% 超过 200 行,28% 存在互相矛盾的指令。

05 / THE GARDEN代码库是花园:反模式如何复利扩散

演讲里有一个时间对比很值得停在纸上:2024 年她来上班时,一天审三个同事的 PR;现在这个数字接近三百。代码「像一股连续的水流」「几乎像活的」。当生产代码的主体从人变成智能体,代码库的地位就变了——它不再只是产物,它是下一次生成的训练样本式的先验。

3 个 / 天
2024 年,每天审阅同事提交的合并请求数量(演讲自报)
≈300 个 / 天
现在,每位工程师身后是几百到几千个智能体组成的团队
一处 workaround 的真实成本 = 它此后被复制的所有次数 一处绕过写法 workaround / 技术债 进入代码库 最大的上下文输入源 被读作「惯例」 下一个智能体照抄 扩散为杂草 1 → 3 → 9 → n 它看起来像既定模式 不是一次性产物 「大家都这么写」 性能与一致性受损 所以工程师的工作更像园艺:施加约束、除草、让高质量的东西成为唯一容易长出来的东西。 混凝土基础 = 代码库质量 + 安全约束 + 目录与依赖边界(据演讲 03:27 段绘制)
图 3|反模式复制链。演讲把代码库比作花园:杂草和害虫(变通写法、反模式、过时代码)会不知不觉蔓延。这里把它写成一条可追踪的因果链,便于定位干预点。

5.1 园艺动作的具体清单

先除草,再播种

每当修一个智能体错误,问的是「仓库里还有多少同类写法」。清理旧的反模式与新规则同等重要——否则仓库里仍然存在可供复制的坏样本。

让正确路径最短

好 API 的设计目标不是「表达力强」,而是「用错很难」。任何需要微妙技巧才能用对的接口,在智能体规模化场景下都会变成隐患来源。

把教训写进机器可读的地方

从构建桌面应用学到的教训被写进 Dune 的 lint 规则,而不是写进一份没人读的文档。教训的载体决定了它是否持续生效。

接受代码库是"活的输入"

别再用「一次性交付」的心态对待仓库。它的每一处瑕疵都会被放大,它的整洁度就是后续所有生成的天花板。

反方提醒:这一章的因果链主要来自演讲者的经验观察,属于「单一案例 + 机制推导」,没有对照实验。但 UFMG 对 100 个仓库的研究表明「规则堆在文字里」确实是普遍问题,至少支持了后半段——把约束从文字迁移到工具——的方向。

06 / ENFORCE消除而非教育:Dune 的三条硬约束

Dune 是为 Grok Bot 打造的客户端框架,演讲里把它类比为「Electron 应用的 Next.js」。技术上「没什么太复杂的东西」——真正有意思的是它把构建桌面应用学到的教训,都写成了限制和 lint 规则。用第 3 章的判别式看,Dune 是一个把约束成本一次性付清的设施。

约束它防的问题实现方式与效果
① 产品代码禁用 useEffect 需要微妙技巧才能用对的 API 会被频繁误用;智能体尤其不擅长处理其中的细微差别 只在 Dune API 内部少数位置允许使用。演讲者的判断是「这个问题现在已经彻底解决了,code review 时再也不用修它」。对应判别式 C:约束由框架一次性承担。
② 目录结构即上下文 Cursor 开发中反复出现「主线程代码被 import 进渲染线程」,导致长任务与界面延迟 顶层拆出 electron-renderer 与 electron-main 两个目录;依赖图分析器与 lint 规则禁止两者互引,连类型定义都必须经过 shared/。对应判别式 A:跨引会失败。
③ lint 报错承载「为什么」 智能体用注释解释补丁的合理性,把一次性绕过写成永久规范 规则给出清晰、有用的报错信息,指向根本原因而非症状。对应判别式 B:同类错误在后续 PR 里永久消失。

6.1 「要用好 useEffect 得有个博士学位」

这是演讲里最像玩笑、实则最严肃的一句。useEffect 有它的用处,但要正确用它需要同时考虑依赖数组、清理函数、竞态、严格模式下的双重执行等大量细微差别。当正确用法需要专家级直觉,而生成是自动化的,错误就会以自动化的速度复制。团队的答案不是写一份「正确使用 useEffect 指南」,而是让产品代码里根本不出现它。

可迁移的判据

对每个「高频出错点」问一句:能不能通过改 API / 改目录 / 改类型,让这个错误在结构上不可能发生? 如果答案是可以,那么任何文字规则都是次优解。Dune 的价值不在于它多先进,而在于它把这条判据落实成了两个可执行的禁令。

边界说明:这是一条在高吞吐、同构客户端代码库中成立的取舍。禁用某个强大 API 意味着放弃它的合法用法;团队需要自己判断「误用成本」是否高于「表达能力损失」。演讲没有给出这个权衡的量化门槛。

07 / PROSE注释是借口:从「说服」到「强制」

演讲 06:56 处提出了一个尖锐观察:智能体使用 Markdown 的方式很「神奇」——文档、代码注释、rules、skills 都被当成为自己没把事情做对找理由的地方。它会过度关注你做过的一个小修正,把它提炼成一条「永远不能打破的严格规则」。

7.1 定时器案例:一个补丁如何变成系统性退化

Cursor 的教训:一次「快速修复」如何蔓延成性能问题 1 · 架构冲突 VS Code 命令式风格 对撞 React 声明式 2 · 智能体打补丁 setTimeout / rAF requestIdleCallback 3 · 性能退化 定时器频繁创建销毁 GC 抖动、卡顿延迟 4 · 写下注释 用大段红色注释解释 「这个补丁是合理的」 5 · 蔓延 下一个智能体 读注释并照抄 风格不匹配 绕过架构问题 真实的运行代价 无强制力的说服 成为既有模式 Grok Bot 的修法:禁掉约 99% 的注释 改用带清晰报错的 lint 规则,让智能体去修根本原因,而不是为补丁写辩护词
图 4|定时器补丁的退化链。据演讲 06:56–09:40 段绘制。关键不是「定时器不好」,而是补丁 + 注释的组合把一个一次性绕过变成了可复制的规范,且没有任何机制让它在构建时失败。

7.2 为什么注释是特别糟糕的载体

演讲给了四条理由,可以压缩成一句:注释既有说服力又没有强制力,而且会过期。

会过期

注释很快过时,而人们本来也很少读它。过期的注释比没有注释更危险——它主动误导下一个读者(包括智能体)。

给借口

它给了智能体一个「这件事很难,所以可以不做对」的理由。文字一旦写成,就会被后续上下文当作已确认的判断。

无强制力

一个看起来很好的意图——「告诉下一个智能体别这么做」——永远不会变成可以信任的东西,因为违反它不会失败。

替代方案不丢信息

「为什么」并没有消失,而是被搬进 lint 的报错信息里:同样解释原因,但这次它会让构建失败。

7.3 反方观点:这条禁令的代价在哪

社区讨论对「禁注释」并不一致。Hacker News 的相关讨论中,有开发者指出:大型或结构糟糕的函数、隐藏复杂度处,注释仍有价值;另一些人则认为规则应写成正向、简短的形式,长篇禁令文件本身就会遭遇「lost in the middle」的上下文稀释。UFMG 的研究也发现「冲突指令」(28%)和「初始化化石」(24%)是常见配置病。这些反驳并不推翻演讲的核心,而是限定了它的适用范围:

更准确的表述

真正该禁的不是「解释」,而是用解释替代机制。如果一段「为什么」只存在于注释里,它就是可被忽略的说服;如果它同时被一条可执行规则守护,那么注释即使过时也不会造成系统性后果。Grok Bot 的做法是把信息载体整体迁移到 lint,这在以机器生成代码为主的代码库里是自洽的;在人手写为主、且存在大量历史复杂性的老系统里,直接照搬「99% 禁令」需要谨慎评估。

08 / VERIFICATION验证层:让机器拿到可复核的证据

演讲 09:40 处给出了整场最有操作性的转向:代码评审流程已经退化为「分析验证产物」——视频、截图、图表、形式化验证。人不再是逐行读 diff 的第一道防线,而是检查智能体能否拿出证据证明自己理解了意图。

验证栈:三类手段,共同产出「可被审查的证据」 运行时验证 让智能体自己运行代码 · Chrome DevTools 协议等调试工具 · Feature Map:用户视角功能地图 给「左边那个东西」共享词汇 · 自有 CLI:复用同一驱动 减少 token,且本身可测试 形式化验证 证明不变量真的成立 · TLA+:跨设备、跨平台通知流程 用模型检查核心用户流程 · Lean:证明自研虚拟化库 确保不闪烁、不抖动 · 已发现多个 bug,但非万能药 属性测试与可视化 从用户视角枚举行为 · Bombadil:基于属性的界面测试 已抓到若干界面 bug · state chart:可视化状态机 pstack 插件,用户视角 · 视频 + 截图作为验收附件 验证产物 → 视频 / 截图 / 图表 / 证明 = 新的评审对象
图 5|验证栈。据演讲 09:40–13:32 段绘制。三者的共同点不是「更严格的测试」,而是产出可复核的证据:评审者不需要重放智能体的思考过程,只需要检查证据。

8.1 Feature Map:解决「指代不明」这个上下文问题

运行时验证里最不起眼、但最容易被低估的是 feature map。它本质上是「从用户视角看,你的应用里所有功能的站点地图」。当有人说「左边面板上的那个东西」,智能体不用猜——它有一张共享词汇表,能把模糊指代映射到具体界面与状态。pstack 把它做成了可生成、可维护的验证技能(create-verification-skill / maintain-verification-skill),并规定用语义选择器(ARIA、data-* 属性)而非坐标点击,用可观测的终态轮询而非固定定时器。

注意这里的理念一致性:第 7 章禁掉智能体随意使用定时器,feature map 的驱动规范又要求「轮询可观测终态而不是固定等待」——禁令和规范指向同一个目标:让程序行为由状态而非时间假设决定。

8.2 形式化验证:不是信仰,是成本结构变了

TLA+ 用来验证跨设备、跨平台通知这类核心用户流程的模型;Lean 用来证明自研虚拟化库没有闪烁或抖动。演讲者明确说「我们整体上还在试验这种方法」,「已经发现了很多错误」,同时强调「这不是万能药,我们把它看作另一个工具,是智能体环境里的又一层」。

这段自我限定很重要。形式化方法过去没普及,不是因为人们不懂它的价值,而是因为写模型、维护证明的成本太高。智能体改变的是这个成本项:写与维护 TLA+ 模型、生成属性测试、产出状态图的边际成本被压低,于是过去「正确但买不起」的手段进入了日常工具箱。这与 DORA 的说法互相印证——生成变便宜之后,回报来自验证侧的吸收能力。

手段擅长捕捉局限 / 代价
运行时验证界面是否能到达目标状态、交互是否真的可用、控制台是否报错只能覆盖被执行到的路径;feature map 本身需要随产品演进维护
形式化验证并发交错、状态机边界、跨端流程的不变量模型本身可能写错;只证明模型性质,不等于证明实现正确;演讲称仍在试验
属性测试 / 可视化界面的非常规输入组合、状态可视化后的理解偏差属性定义需要人工判断;工具链相对小众
人工看产物意图是否被正确理解、体验是否合乎预期仍是稀缺资源,只应处理例外与判断型问题

09 / ECONOMICS验证经济学:token 预算从哪里搬到哪里

演讲 11:53 处讲了一件有意思的事:六个月前,工程师 Cindy 发推说因为小错误混进代码,她没办法信任自己的智能体;六个月后,她说自己每天 70% 的 token 花在了验证上。演讲者的回应是「这跟我的观察一致——我自己的大部分 token 也花在了验证上」。

≈70%
第三方工程师自报的每日验证 token 占比(演讲引用)
0 → 1
验证从「测试阶段的一步」变成「贯穿生成的主活动」
20%+
LLM 自动生成 context 文件带来的推理成本增幅(arXiv:2602.11988)
3 类
旧手段变廉价:形式化验证、属性测试、完整 UI fuzz
验证税的两种结局:J 曲线 vs 长期低位 ① 学习期 ② 验证税显现 ③ 流水线适配 ④ 回报期 起始基线 谷底:验证税最高 验证黄金时代 验证税长期化:队列与返工吃掉收益 投资验证与流水线的环境 未投资验证的环境
图 6|J 曲线的两种结局(概念示意,非实测数据)。框架借自 DORA 2026 对 AI 采用期「学习成本 + 验证税 + 流水线适配」的描述;蓝线为演讲主张的路径,灰线为行业观测到的「吞吐量上升、稳定性下降」的长期化风险。两条线均为机制示意,不代表任何实测拟合。

9.1 预算重排:三个具体变化

项目传统预算方式演讲主张的方式
token 分配大部分用于生成代码与改代码大部分用于运行、观察、验证;生成只是第一步
人的注意力逐行读 diff,靠经验发现反模式看视频 / 截图 / 状态图 / 证明,只在例外时介入
工具投入形式化方法与 UI fuzz 被视为「太贵」由智能体编写与维护,边际成本骤降,进入日常

经济学的落点

如果生成是廉价的、信任是瓶颈,那么理性支出就该落在验证层。这条推论既解释了 Grok Bot 的做法,也解释了为什么 DORA 把「验证税」和「不稳定税」并列命名——两种税都无法靠更好的模型解决,因为模型质量不是瓶颈,吸收能力才是。

10 / THE NUMBERS回报与打折:11,000 个 PR 里有多少含金量

演讲 13:32 处展示了增长图:团队月度合并 PR 从 6 月到 10 月快速增长,10 月达到约 11,000;客户端约每天一个稳定版;10 月约 227 人至少创建了一个 PR;回滚率相对稳定在 0.5%,且「相对减少了」。这一章把数字拆开看,并列出演讲没有回答的质疑。

量级对照:三条数据共用同一横轴(0 – 12,000 PR / 月) 个人 · 3 月 68 个人 · 10 月 3,127 团队 · 10 月 10,926 0 4,000 8,000 12,000 仅两端与总量有公开数字;未披露的中间月份不画插值趋势。条长按数值线性换算(宽度 = 数值 ÷ 12,000 × 650)。
图 7|PR 数量级对照。个人从 3 月 68 个到 10 月 3,127 个(约 46 倍);团队 10 月 10,926 个,来自约 227 名贡献者。数字来自现场图表记录与译稿,非本报告推算。
回滚率:随发布量上升反而下降 0% 0.5% 1.0% 0.98% 此前 0.47% 当前 下降约 52% 同时发布量大幅上升 (方向比绝对值更重要) 纵轴 0–1.0%,柱高按 数值 ÷ 1.0% × 127px 换算。
图 8|回滚率方向。译稿只说「稳定在 0.5%」;现场图表记录给出 0.98% → 0.47% 的下降。注意回滚率的分母是 PR 数,而 PR 数本身来自智能体,解读见正文。

10.1 逐条判定:哪些数字能当证据

主张支持证据反证 / 局限判定
发布速度提升月合并约 11,000 PR;约每天一个稳定版PR 数是弱指标:拆得更碎就能放大数字;社区已有「11k PRs sounds terrible」的直接质疑弱支持
质量没有下降回滚率 0.98% → 0.47%;发布量同时上升存在自动修复与 fix-forward 机制:问题可能被「修过去」而非「回滚」,回滚率无法区分两者;分母由智能体决定弱支持
产品体验变好启动、打字、打开聊天、切换聊天都变快;Electron 应用通常先表现为卡顿自报,缺少前后基准数据与测量方法中等支持
参与度提升10 月约 227 人至少创建一个 PR「创建 PR」不等于有效贡献;偶发贡献者的合并质量未知弱支持
方法论有效做法被固化进开源 pstack;YC 访谈显示产能持续;回滚率方向正确无对照组、无第三方审计、单一高能力团队;讲者本人也是工具作者,存在利益相关可作为假设

一个没被回答的好问题

现场有质量工程师追问(@OffCamberQE):除了回滚和性能,你们怎么衡量质量?在跟踪逃逸缺陷或变更失败率吗? 基准文档没有给出答复。这是整套方法目前最明显的空白:验证层能证明「按规格做对了」,但规格本身是否覆盖真实故障,仍需要独立的缺陷度量。任何打算复制这套方法的团队,都应把「逃逸缺陷数 / 变更失败率 / 用户可见事故」单独建指标,而不是只看回滚率。

11 / PLAYBOOK落地路线图:从今天到「软件工厂」

演讲 15:11 给出明确顺序:先微调代码库,再建工厂。从 lint 规则开始,防止新反模式出现;再清理旧反模式;再确保验证策略可靠。只有这些做完,才谈得上并行智能体、云端 agent 与自动合并。下面把它压缩成一张 12 周路线图与一份检查清单。

12 周落地顺序:地基 → 约束 → 验证 → 外环 W1 W3 W5 W7 W9 W11 之后 ① 地基盘点 盘点反模式 ② 纠错固化 lint / API / 目录边界 ③ 运行时验证 CLI + Feature Map + 自检 ④ 形式化试点 1–2 条核心流程建模 ⑤ 审产物 视频 / 截图 / 证明 ⑥ 外环自动化 fuzz + 自动修 顺序是关键:前一层未稳定前,不要启动下一层的自动化。演讲者自述整个转变用了约六个月。
图 9|12 周落地顺序(建议,非演讲原文)。阶段划分依据演讲 15:11 的「先打地基」主张重新编排;时间为规划建议,实际周期取决于团队规模与技术债存量。

11.1 成熟度阶梯

级别特征进入下一级的门槛典型失败信号
L0 放任提示词里写「写干净代码」,人工逐行审能列出最近 20 次智能体错误的具体类型同类错误反复出现,规则文件只增不减
L1 约束纠错转成 lint / 类型 / API;目录边界明确高频错误在构建阶段被拦住;旧反模式已清理lint 规则写了但报错信息不可操作
L2 自检智能体能运行应用、使用共享 CLI 与 feature map随机抽查:智能体给出的验证证据与实际一致验证脚本随产品演进而失效
L3 证据评审人看视频、截图、状态图、证明,不看 diff验证 token 占比显著上升;评审吞吐不再随生成量线性增长出现「验证通过但体验不对」的逃逸缺陷
L4 外环发版后自动 fuzz、自动开修复 PR、自动合并连续多个版本回滚率与逃逸缺陷稳定;治理允许自动合并把「回滚率低」当成唯一质量指标

11.2 可执行检查清单

每次纠错的三问

  1. 能不能用 lint / 类型 / 依赖图让它构建失败?
  2. 能不能改 API 或结构,让这个错误无法表达?
  3. 仓库里还有多少同类旧写法需要一起清掉?

三问都答「否」,才允许把规则写进文字文件——而且必须说明它为何每次会话都需要。

文字文件瘦身

  • 删掉 lint / formatter 已经管住的风格规则(Lint Leakage)
  • 低频流程移到按需 skill,别常驻上下文(Skill Leakage)
  • 文件压到 200 行以内,冲突指令清零
  • 每次构建命令或目录变化后复审,避免「初始化化石」

验证层门禁

  • 智能体必须能自己运行应用并取得证据
  • feature map 覆盖主要功能面,用语义选择器
  • 核心流程至少有一条属性测试或模型检查
  • 评审对象是产物,不是思考过程

自动合并前置条件

  • 回滚率之外,另建逃逸缺陷与变更失败率指标
  • 小 PR 优先:5 个窄 PR 优于 1 个大 PR
  • 自动修复可追溯,能定位到触发它的验证证据
  • 明确治理边界:哪些目录永不自动合并

12 / ANTI-PATTERNS反模式与适用边界

任何方法论在传播中都会退化成口号。这一章列出三种最常见的退化方式,以及这套方法明确不适用的场景。它们不是对演讲的否定,而是对「复制条件」的说明。

12.1 三层反模式清单

层级反模式 / 症状修正动作
战略先建工厂,后打地基:并行智能体已上线,回滚与返工同步上升暂停扩容,回到 L1:把高频错误变成构建失败,清理旧反模式后再恢复自动化
战略把 PR 数当 KPI:PR 拆得越来越碎,数字漂亮但交付没变快改用交付前置时间、首次评审响应时间、返功率三个指标
战略照抄结论不抄条件:直接禁掉 99% 注释,却没有可执行的 lint 替代先建替代机制,再移除载体;否则隐性知识无处安放
工程规则只活在文字里:AGENTS.md 越写越长,同类错误仍反复出现执行「纠错三问」;无法机器化的内容移到按需 skill,并说明触发时机
工程报错信息不可操作:lint 只报「不允许」,不告诉智能体正确的做法把「为什么」和「怎么改」写进报错信息,让规则本身携带知识
工程验证脚本与产品脱节:feature map 过时,智能体验证通过但用户路径已经改了把验证资产当产品代码维护,随功能迭代同步更新
治理回滚率单一指标:只看 0.47%,忽略逃逸缺陷与变更失败率补建质量指标;主动追问「修过去的算什么」
治理自动合并无边界:所有目录一视同仁,关键模块也被自动合并设目录白名单与不可逆操作的硬停点;保留可追溯的验证证据
治理忽略上游对齐:验证层做到极致,但做的不是该做的事承认新瓶颈是意图与优先级共识;验证只保证「做对」,不保证「做对的事」

12.2 什么时候不该照搬

强监管与审计场景

若要求人工逐行签核、变更留痕必须到人,那么「人只看产物」的评审形态在合规上不成立。可以先做前半段(约束与验证),保留人工签核层。

高度异构的历史系统

演讲的收益建立在同构客户端代码库与可重构的框架之上。若代码库无法在合理成本内统一,先做局部试点,别全面禁用 API。

评审尚不是瓶颈的团队

生成量小、PR 质量稳定时,重投验证层的回报有限。先确认自己的约束在哪一段,再决定投资位置。

无法承担验证基础设施的团队

lint、类型、feature map、形式化模型都需要持续维护。没有维护能力时,它们会变成新的「初始化化石」。

12.3 未解问题:四个没被回答的问题

  1. 质量度量:逃逸缺陷率、变更失败率、用户可见事故数是多少?演讲未披露,现场提问也未获答复。
  2. 因果识别:没有对照组,无法分离「环境投资」与「高能力团队 + 充裕 token + 新项目」各自的贡献。
  3. 迁移性:从零设计的新代码库与存量系统、实验室级 token 预算与常规预算,条件差异有多大?
  4. 新瓶颈:当验证足够便宜,瓶颈上移到产品意图对齐后,这套方法论还能提供什么?演讲没有展开。

13 / VERDICT结论:这是判断,不是共识

把报告压到三句话:

第一句 · 发生了什么

一个高能力团队在自家代码库里,把「智能体的错误」系统地转化为「机器的约束」与「可复核的证据」,从而在发布量暴涨的同时保持了回滚率下降和性能提升。这件事被演讲与现场数据记录,属于可信的单一案例。

第二句 · 为什么重要

它把「用不用智能体」的争论换成了更可操作的问题:你的环境里,多少约束是会失败的,多少只是写下来的? 行业数据(评审耗时 +91%、AI PR 合并率 32.7%)与研究证据(91% 配置有异味、生成式说明文件负收益)共同指向同一处:生成已经不是瓶颈,吸收能力才是。

第三句 · 别越过证据

这不是经过同行评议的因果结论,而是「单一案例 + 独立旁证 + 机制推导」构成的行动假设。它没有回答质量度量、可迁移性与意图对齐三个关键问题。正确的用法是:拿走判别式与顺序,自己测量效果;而不是拿走 11,000 这个数字。

13.1 来源分级

类型来源在本报告中的作用
一手材料演讲视频与逐段摘要(AI Engineer) · 会议条目 · 基准译稿(赛文视点)论证结构、案例细节、原始数字
近一手记录现场图表数字整理 · 现场推文与 YC 访谈汇编 · 讲者 X 帖精确数值、质疑声音、后续瓶颈
行业调查DORA 2025 / 2026 报告 · LinearB 810 万 PR 数据集(经二手转述) · 独立批判性解读行业基线、反证据、指标质疑
学术实证arXiv:2601.20404(结构化说明文件)· arXiv:2602.11988(ETH,生成式 context)· arXiv:2606.15828(UFMG / SCAM 2026,配置异味)· AGENTS.md 规范「少写文字规则」的独立佐证
工程实践pstack 开源实现 · Feature Map 与验证技能拆解 · DeepValues 研究 · 社区反方讨论方法论落地的实现细节与边界

说明:DORA 与 LinearB 的多条具体数字来自二手转述,尚未逐字核对原报告表格;论文结论按原文摘要引用,未复现实验。所有带「转述」「自报」「单一案例」标签的证据,请按相应强度使用。