当 AI 构建自身
我们在递归自我改进方面的进展及其影响
原文标题：When AI builds itself: Our progress toward recursive self-improvement, and its implications 原文地址：Anthropic 官方网站 发表时间：2026年6月4日 作者：Jack Clark（联合创始人）、Marina Favaro（研究员）
在人工智能的大部分历史中，人类主导了其开发周期中的每一个步骤。但在 Anthropic，我们正将越来越多的 AI 开发工作委派给 AI 系统本身，这极大地加速了我们的工作。
如果这一趋势走得足够远，并且拥有足够的算力，它将指向一个能够完全自主设计和开发其后代版本（即继承者）的 AI 系统。这被称为递归自我改进（Recursive Self-Improvement）。我们目前还没有达到那个阶段，而且递归自我改进并非必然发生。但它的到来可能会比大多数机构准备好的要早。
利用公开基准以及来自 Anthropic 内部此前未公开的数据，Anthropic 研究院（The Anthropic Institute）展示了 AI 已经在加速 AI 系统的开发。仅举一例：如今，Anthropic 工程师平均每季度合并的代码量，是 2021 至 2025 年期间的 8 倍。
本文讨论的技术趋势表明，AI 系统在未来几年将变得更加强大。这些趋势具有深远的影响。能够自主构建的 AI 将是技术史上的一项重大发展——它可能在科学、医疗等领域为世界带来巨大的福祉（详见《Machines of Loving Grace》）。但完全的递归自我改进也可能增加人类失去对 AI 系统控制的风险。如果系统能够完全构建其继承者，那么我们保护它们、监控它们以及塑造它们行为的方式都将变得更加至关重要。
AI 参与开发的历史与现状
- 2021–2023 - 构建第一个 Claude - 在早期，Anthropic 的工作看起来与其他任何科技公司无异：人们在笔记本电脑上编写代码和文档。
- 2023–2025 - 聊天机器人 - 人们使用早期的聊天机器人来辅助部分工作流程，例如生成简短的代码片段并将其复制到文本编辑器中。
- 2025–2026 - 编码智能体 (Coding Agents) - 随着智能体变得更加强大，它们开始能够自主编写和修改代码，有时甚至能修改整个文件。
- 今天 - 自主智能体 (Autonomous Agents) - 智能体现在可以自己运行代码，并将长达数小时的工作委派给其他智能体。
- 20XX? - 闭环 (Closing the loop) - 在未来，智能体可能变得足够强大，能够自主构建和训练模型。如果发生这种情况，Claude 的未来版本将由 Claude 自身进行持续改进。
来自外部世界的证据
AI 模型的提升速度正在加快。它们能够自主可靠完成的任务时长，大约每四个月就会翻一番，而在之前的趋势中则是每七个月翻一番。在 2024 年 3 月，Claude 3 Opus 能够完成人类大约需要 4 分钟才能完成的软件任务。一年后，Claude 3.7 Sonnet 能够处理大约需要一个半小时的任务。再过一年，Claude 4.6 Opus 能够处理 12 小时的任务。1 如果这一趋势持续下去，由技术熟练的人需要几天才能完成的任务可能会在今年被 AI 攻克。到了 2027 年，AI 系统可能会有能力完成人类需要几周才能完成的任务。
同样的模式也出现在编码和研究基准上。基准测试衡量模型在特定领域的表现，当模型达到接近 100% 的表现时，基准就“饱和”了。2 SWE-bench 是真实世界软件工程的黄金测试标准：它向模型提供一个真实的开源代码库和一份真实的 Bug 报告，并要求它编写代码修改以解决该问题，且必须通过项目自身的测试。模型得分在两年内从个位数上升到了使基准饱和。
CORE-Bench 测试模型是否能够复现已有的研究，这是它们能够进行原创性研究的前提。它向 AI 模型提供已发表论文背后的代码和数据，并要求它重新运行所有内容，并确认其能够复现该论文的结果。AI 系统在 2024 年成功复现结果的比例大约只有 20%，而 15 个月后就使该基准达到了饱和。开展长任务评测的基准机构 METR 发现，Claude Mythos 预览版（Claude Mythos Preview）能够工作“至少” 16 个小时，这已经是“METR 在不开发新任务的情况下所能衡量的上限”。
公开的基准对于了解这些系统的能力非常有帮助。但它们无法揭示 AI 系统在加速 AI 本身开发方面所产生的深远影响。为此，我们需要来自 Anthropic 这样的一线 AI 公司内部的直接证据。
来自 Anthropic 内部的证据
构建一个前沿模型需要两个大类的工作。其一是工程（Engineering）：编写代码、搭建基础设施以及监督模型训练。其二是研究（Research）：决定运行哪些实验、解读实验结果以及思考下一步尝试什么点子。
在工程和研究两个方面，情况是一致的。在工程方面，可以将一个定义模糊的问题交给 Claude，由它想出解决办法；人类提供目标，但不再需要提供具体方法。在研究方面，Claude 已经在执行特定实验上达到或超过了熟练人类的水平。然而，在让 Claude 自行选择工程和研究目标时，依然存在巨大的表现差距。这就是今天的 AI 与未来能够自主设计继承者的系统之间的差距。
在 Anthropic，随着员工工作经验的增长，他们通常会承担更具开放性和重要性的任务。在早期，他们执行别人指定好的任务，例如：“导出按钮无法正常工作，请修复它。” 随着经验积累，他们会被告知一个目标，并自行设计方法，例如：“调查为什么网络在高负载下会变慢。” 在最资深的层级，他们决定哪些问题值得研究：“下个季度团队应该构建什么？” 我们可以利用 Anthropic 的内部数据，来看看 Claude 在处理这些不同类型的任务上已经走了多远。
Claude 编写了 Anthropic 相当大比例的代码。 截至 2026 年 5 月，我们合并到 Anthropic 代码库中的代码有 80% 以上是由 Claude 编写的。3 在 2025 年 2 月 Claude Code 开启研究预览版发布之前，这一数字仅为个位数。这一转变也体现在每位工程师的产出量上。在 Anthropic 的前四年（2021-2024 年），每位工程师每天合并的代码行数保持平稳，但在 2025 年开始向上攀升，当时 Claude 开始能够自主运行代码，而不仅仅是建议代码让工程师复制粘贴。在 2026 年，当模型开始能在更长的时间跨度上自主工作时，这一斜率再次陡峭化。这两个拐点在下图中显示。在 2026 年第二季度，典型工程师每天合并的代码量是 2024 年的 8 倍。4 这是因为大部分代码由 Claude 编写，工程师的角色主要是指导和评审，而不是自己敲击键盘。
需要注意的是：代码行数是一个不完美的衡量标准，因为它重数量轻质量。因此，2026 年第二季度每位工程师每天合并的代码行数增长 8 倍，几乎可以肯定高估了真实的生产力提升。即便如此，它也明确指明了加速的趋势。在 Anthropic，我们并不鼓励人们单纯堆砌代码行数；相反，团队成员之所以能产出更多代码，纯粹是因为他们正在使用 AI 系统来编写更多代码。
合并代码行数的增加与主观上生产力大幅提升的印象相吻合。在 2026 年 3 月对来自 Anthropic 研究团队的 130 名员工进行的民意调查中，中位数受访者估计，在使用 Mythos 预览版时，他们在同样的项目上所产出的成果，大约是完全不使用任何 AI 模型时的 4 倍。5 我们预计 3 月份的实际提升幅度可能略低一些。6 尽管如此，我们认为这一总体结论是可信的，并且与我们的其他观察相符：相当一部分 Anthropic 技术员工完成核心工作的速度，要比没有 AI 辅助时快上数倍。
我们还看到证据表明，Anthropic 的员工正在使用 Claude 来做一些如果没有 AI 辅助就根本不会发生的工作，例如构建探索性的工具和解决长期拖延的清理工作。例如，在 2026 年 4 月，Claude 提交了 800 多个修复程序，将一类 API 错误降低了千分之一。负责监督 Claude 的工程师估计，人类要花四年时间才能完成这项工作；解决别人留下的 Bug 是一项缓慢而艰苦的工作，人类很难一次性在脑海中容纳如此多不熟悉的上下文。
“大约一年前，我开始大力推行‘Claude化（Claudifying）’。这是一段疯狂的冒险，现在我已经有大约 5 个月没有自己写过任何代码了。” —— Anthropic 员工*
Claude 编写的代码“质量很好”且在持续提高。 “好代码”意味着两件事：它能正常工作，且其编写方式易于让其他工程师理解并在其基础上继续构建。在第一个标准上，证据非常明确。在过去的一年中，Anthropic 员工纠正、重定向或在中途接管 Claude 任务的比例一直在稳步下降，即使在最复杂和开放式的任务中也是如此。这指的是那些没有明确规范、工程师自己都不知道答案长什么样的问题。这体现在 Claude 在不同难度任务上的成功率随时间推移而上升，如下图所示。Claude 编写的代码确实管用。
如何阅读此图：会话成功由 Claude 裁判判定；如果 Claude Code 智能体清楚地完成了用户的任务且不需要纠正，则该会话被视为成功。工作负载的变化可能会导致成功率的短期波动。
在最具开放性的任务上，Claude 在 2026 年 5 月的成功率达到了 76%，在六个月内上升了 50 个百分点。为了给这一难度级别的任务举个例子：一次常规的升级开始导致成千上万个训练任务崩溃。一位工程师让 Claude 去处理这起线上事故，当时只提供了部分文本内容和集群访问权限。通过分析正在运行的任务并每次测试一个环境设置，Claude 锁定了触发崩溃的那个极其隐蔽的调试标志，成功复现了问题，并确认了修复方案。在短短两个小时内，Claude 完成了人类通常需要两到三天才能完成的工作。
第二个标准是编写其他工程师能够理解并在此基础上继续构建的代码。在这一点上，人类和 AI 之间的差距依然存在，但正在迅速缩小。虽然 Anthropic 员工内部还没有完全达成共识，但许多人认为，在 2025 年底，Claude 编写的代码质量仍比 Anthropic 人类写的要差，而今天则已基本持平。我们预计它在一年内会变得更好。
这改变了 Anthropic 审查自身代码的方式。现在，合并到我们代码库中的每一项修改，都会先由一个自动的 Claude 审查器进行读取，寻找 Bug、安全漏洞和其他缺陷。使用这一工具，我们进行了一次回顾性分析，发现对我们代码库的每一项修改进行自动 Claude 审查，本可以在过去 claude.ai 发生的事故中，提前拦截大约三分之一的 Bug。编写这些代码的工程师是世界上最顶尖的系统构建者，而 Claude 现在正捕获他们所漏掉的错误。
“在 2025 年底，Claude 编写的代码质量比 Anthropic 人类写的稍差，今天已基本持平，我们预计在一年内它会变得比人类写的更好。”
Claude 善于通过运行实验来达到别人设定的目标。 每当我们发布一个新模型，我们都会运行相同的测试：向 Claude 提供一段训练小型 AI 模型的代码，并要求它在通过相同正确性检查的前提下，让这段代码运行得尽可能快。目标和成功指标是预先设定的，因此 Claude 的工作是通过重写代码、运行它、记录时间并不断重复来寻找加速的方法。这是实验研究循环的一个微缩版本。在 2025 年 5 月，Claude 4 Opus 平均比初始代码实现了约 3 倍的加速。到了 2026 年 4 月，Claude Mythos 预览版达到了约 52 倍的加速。作为对比，一个熟练的人类研究员需要四到八个小时才能达到 4 倍的加速。7 在这个研究工作流程——在明确定义的实验中优化步骤——Claude 在不到一年的时间里，已经从一个极具帮助的助手变为了“超人”。
“如今的现状大致是：‘人类提出想法，而模型能够以比以前快一个数量级的速度来实施、测试和评估它们。’”
Claude 正变得更善于自己提出实验方案。 2026 年 4 月，Anthropic 发表了首个展示 Claude 端到端运行开放式研究项目的案例。Claude 驱动的智能体被给出了一个 AI 安全领域的开放性问题——大致是：一个较弱的模型是否可以可靠地监督一个较强的模型？——并让它们自行解决。这包括提出假设、测试假设、与并行的智能体分享发现并进行迭代。该任务有明确的表现“下限”和“上限”：下限是弱监督者自己能做到多好；上限是强模型在用正确答案训练时能做到多好。两位人类研究员在大约一周内弥合了这部分差距的 23%；而智能体在累计运行 800 小时并消耗了大约 18,000 美元的算力后，弥合了 97% 的差距。这项工作有一些局限性：该结果未能干净地转移到生产规模的模型上，且人类依然选择了解题方向并创建了评分标准。但在这些边界内，智能体设计了每一个实验。方向设定是人类扮演的唯一有意义的角色。
“Claude 在我几乎没有提供什么帮助的情况下，在 1 到 2 天内完成了所有这些工作。我认为如果一个初级同事在同样的时间跨度内带着这样的结果回来，我会感到有些惊喜。未来已来。”
Claude 在引导研究会话走向发现方面做得越来越好。 我们分析了真实的 Claude Code 会话（发生于 2026 年 1 月至 3 月之间），在这些会话中，Anthropic 研究员正与 Claude 合作解决一个开放性的调查问题，比如找出为什么某个训练运行持续崩溃，或者为什么某个模型在某个基准测试中得分很低。在每种情况下，我们都发现了一个研究人员“走弯路”的时刻：他们追求的一个方向导致会话偏离了轨道，过了很久才重新走回正轨。然后，我们向各种 Claude 模型展示了会话偏离轨道之前的工作，并询问它下一步会做什么。另一个能够看到会话最终结果的独立 Claude 随后判定，是 AI 还是人类建议的下一步更好。8
因为我们故意挑选了那些我们知道人类选择有改进空间的时刻（n=129），所以这并不是模型和人类判断力之间对等的比较。这些时刻为我们提供了一组现实且具有挑战场景，在这些场景中，正确的下一步并不明显，而人类的选择可以作为一个有用的标尺来衡量模型随时间推移的表现。在这一衡量指标上，我们在 2025 年 11 月的最佳模型（Opus 4.5）有 51% 的时间击败了人类的选择；而在 2026 年 4 月（Mythos 预览版），这一比例上升到了 64%。研究的日常工作在很大程度上就是由这一连串的下一步决策组成的，因此，这是衡量模型最终能否自行独立开展调查的一个关键指标。我们认为这一结果是早期信号，表明 AI 系统在做出 AI 研究赖以生存的判断方面，正变得越来越在行。
如何阅读此图：实用上限线衡量的是由一个能看到完整会话（包括其结局）的模型所写出的“理想”答案。
“到目前为止，人类的相对优势仍然在于看清大局，并跳出眼前任务的限制去思考。”
未来在 Anthropic 的工作可能会变成什么样？
证据表明，在 AI 开发过程的每一步中，人类的角色都在变窄。一旦人类和 AI 编写的代码质量达到平准，人类将彻底停止编写代码，转而只进行审查。但是，如果人类审查代码的速度跟不上 Claude 生成代码的速度，人类审查就会成为 AI 开发的新瓶颈。同样，一旦 Claude 能够运行实验，问题就会转向“这些实验中哪一个值得运行？” 简单来说：执行（即编写代码、运行实验、产生结果）在人类时间上的成本现在几乎为零，即使它仍然有算力成本。
目前，人类具有相对优势的领域在于研究品味与判断力（Research Taste and Judgment），包括选择哪些问题重要、信任哪些结果，以及何时判定某个方法是一条死胡同。
“工作（以及生活）曾运转在人与人之间小忙互帮的‘礼品经济’之上。‘你能帮我运行这个脚本吗？’……每一次互助都创造了一点债务，一点共同的意识。而 Claude 更快，它创造了零债务，但每一次这都是人类合作机会的流失。”
“在一切运转顺利的日子里，我忍不住会想，我做的任何事情都不重要了，一切都是自动化的，比我做得更好、更快。但在那些所有东西都崩溃而我不明白为什么的日子里，我意识到我甚至不知道自己一直在忙些什么了。”
如果我们错了呢？
对于上述证据，一个很自然的反对意见是：依然掌握在人类手中的工作——选择研究什么问题——才是最关键的。没有这种判断力，Claude 只是一个能干的助手，而不是一个能靠自己推动 AI 进步的系统。
我们确实不清楚今天的训练方法和架构是否能解锁这一能力。但 AI 极少是通过“尤里卡！”（即灵光一闪）的时刻来实现跃升的。在 AI 的近现代史中，这样的突破性想法寥寥无几，比如 Transformer 架构或混合专家模型（MoE），而这些范式转移的想法往往相隔数年才出现。在这期间，大多数进步都是渐进的：我们扩大规模，看看什么地方崩溃了，修复它，然后再试一次。这恰恰是 Claude 现在所擅长的工作流。爱迪生说，天才是 1% 的灵感加上 99% 的汗水。但我们看到汗水正日益被自动化。很明显，推动前沿发展的许多工作都是可以自动化的；大规模的研究进展主要是工具和资源的函数，它们决定了你可以多快运行实验、可以同时运行多少实验以及可以多快得到结果。
即使我们假设 Claude 永远无法获得优秀的研究品味，对我们证据的保守解读依然意味着复利式的加速。如果人类将大部分时间花在仅占个位数比例的“设定方向”工作上，而由 Claude 处理其余工作，这意味着每个工程师或研究员所掌舵的工作量将远超以往。我们看到的证据表明，Anthropic 的员工既移动得更快，也覆盖了更广的范围。在实践中，这意味着 AI 已经使 Anthropic 的前进速度远快于拥有有效 AI 工具之前。
而不那么保守的解读是，Claude 在改善研究判断力方面的早期证据（尽管今天仍然很窄）是这一能力同样在提高的指示器。“研究品味”可能只是又一个 AI 系统在一段时间内做不好、但随后会变得擅长的定性技能。我们在其他定性技能上已经看到了类似的模式，比如 AI 系统能够解释为什么一个笑话好笑、展示心智理论（Theory of Mind）以及解决语言谜题。
可能的未来
接下来发生什么取决于两件事：趋势是否持续，以及如果持续，我们选择怎么做。我们至少可以想象三种未来的场景：
- 趋势停滞，但今天的 AI 能力得到广泛普及。 本文展示了许多指数级的轨迹。但这些轨迹最终可能其实是 S 曲线。我们可能正在接近曲线的拐点，即规模化收益递减，线条变直然后变平。区分平庸研究员与伟大研究员的那种判断力，可能是一种无法通过扩大训练输入（如算力和数据）而获得的能力。如果是这样，突破这一瓶颈将需要一个全新的想法，比如取代当前所有前沿模型都在使用的 Transformer 架构。
或者，AI 进步的绑定约束可能在供应链，而非模型本身：推进和普及前沿可能需要比目前存在的更多的能源和算力。芯片制造的速度、电网扩容或互联带宽可能是瓶颈，而非智能本身。我们也不能排除外部冲击对 AI 生态系统的打击，从而极大地减缓进程，比如算力或电力供应的突然减少，这两者都会减缓进度并使实验室的前瞻性投资变得更加昂贵。或者我们可能未曾预料到其他阻碍进步的壁垒。
即使模型能力冻结在今天的水平，我们预计世界也会发生重大变化。Project Glasswing 是一个早期信号：在其运行的前几周内，Mythos 预览版在世界上最重要的系统中发现了超过一万个高危和关键级别的软件漏洞——多到网络防御的瓶颈已经从寻找漏洞转移到了能否以足够快的速度修复它们。而且我们仍处于将今天的模型融入更广泛经济的早期阶段，在那个阶段，一个 100 人的公司将越来越能做 1000 人组织的工作，因为每个员工都将坐在智能体金字塔的顶端。
我们列入这一场景是为了完整性，但我们并不认为它会发生。我们所能衡量的每一项能力，包括那些感觉“更软”的能力，如代码质量和开放式任务的成功率，到目前为止都遵循着同一条曲线。我们还没有看到这条曲线弯曲。在考虑的三种未来中，这一种将给政府和社会最多的时间来适应。我们更担心接下来的两种，它们移动得更快，留给准备的空间也小得多。
- AI 实验室继续获得复合式的效率提升。 在这种场景下，AI 开发实现实质性自动化，但人类继续设定研究方向并评判结果。使用 AI 系统的组织将随着时间推移变得高效得多，因此我们可以预期每个人身上都将出现巨大的生产力乘数。100 人的公司可以做 10,000 人或 100,000 人组织的工作。这将彻底变革知识工作和政府服务，但也可能被用于有害的目的，从对全体人口的威权监视，到针对每个人量身定制操纵、且运行规模远超人类团队所能匹配的舆论引导行动。在像 Anthropic 这样的公司里，人类的角色将发生转变。人们将与 AI 系统合作以扩大研究规模并产生新的洞察，并且他们将共同构建所需的系统，以验证 AI 的输出是可以被信任的。
我们在此展示的证据表明，我们很可能正在步入这一场景。但是，加速过程中的某一部分往往只是将瓶颈转移到了其他地方：整体的速度上限受制于那些没有加速的部分。在计算机领域，这被称为阿姆达尔定律（Amdahl’s law），同样的逻辑也可以应用于组织。Anthropic 已经遇到了阿姆达尔定律的特征表现：随着我们开始在组织内推送更多代码，人类代码审查已成为新的瓶颈。
我们也在工程之外遇到了这种摩擦。由于 Anthropic 员工与能力极强的模型合作，新想法、新倡议、新工具和新模拟出现了爆炸式增长——远超我们有能力去追求的范畴。组织发现并解决这些瓶颈的速度，可能是一项随着时间推移而提高的技能，它可能成为任何组织最重要的一项技能。
- AI 系统本身变得能够进行完全的递归自我改进，并开始构建它们的继承者。 如果技术能力的提升趋势持续下去，且 AI 系统能够开发出人类变革性创造力所固有的能力，那么 AI 系统设计并改进自身便是合理的。
在这个世界中，AI 开发的进步速度完全由 AI 系统的算力可用性（或在算法训练或推理中发现各种效率提升的速度）决定。人类在它们的开发中扮演的角色显著减少，可能将我们的大部分精力转向对由 AI 系统运行的不断扩张的“虚拟实验室”进行监督、验证和确认。我们预计，有能力进行自动 AI 研发的系统将拥有能够迁移到其他科学领域的技能，使它们开始在其他领域引发革命。
在这种未来中，对齐问题（alignment problem）如何被解决——或者无法解决——是我们最不确定的一点。模型可能会被证明足够对齐，且具备足够的研究品味，以至于它们能发现并实施我们尚未达到的新颖解决方案。如果不能，它们也可能足够明智地停止开发。或者，今天模型中存在的罕见失齐（misalignment）现象可能会在模型构建其后代时不断累积，变得更加频繁却更难理解，直到我们失去控制。有可能我们无法构建、集成和验证我们所需的工具，来理解我们究竟处于哪一条趋势线上。
我们对于这个世界会是什么样子没有很好的直觉，因为我们的经济目前是由人类和人类构建的工具驱动的。就其本质而言，一个由快速递归自我改进驱动的世界，可能会随着自我改进模型的能力完全超越人类并在更广泛的经济中扩散，而变得由该模型主导。如果人类劳动不再具有竞争力，很难预测经济会是什么样子。
即使模型开发完全自动化且递归，我们也无法预测这对于大多数人的日常生活意味着什么。阿姆达尔定律在这里同样适用。递归智能可能会在某些领域迅速实现《Machines of Loving Grace》中所勾勒的许多好处。我们预计具身智能（即机器人技术）可能会迅速跟进递归智能，并走上一条相似的低成本、高回报增长之路。更强大的智能或许能帮助我们在物理世界中更快地建造东西，进行更高效的拯救生命药物的临床试验，并开发出新颖的协作形式。
但仅实现递归改进，并不意味着工业生产方式、社会组织形式或市场运作方式会立即发生改变。再多的智能也无法在几周内学会需要几十年使用才能验证的药物作用，无法比宪法规定的时间更早举行选举，也无法在周末就将陌生人变成老朋友。对于大多数人来说，这个未来能被感知到的步伐仍将由瓶颈决定，即使上游的实验室正以算力的速度运行。那种递归智能自我构建得越来越快，与人类、关系和治理的世界相碰撞的场景，是这个未来中我们无法预测的另一部分。
我们应该做什么？
如果能够有效地减缓这项技术的发展，以便给自己更多的时间来应对其巨大的影响，我们认为这很可能是一件好事。但如果减缓只是让那些最不谨慎的行动者在技术上赶上来，那可能会让每个人都变得更不安全。在没有全球协调机制的情况下，公司和政府将不得不在竞争和地缘政治压力下，就安全问题做出艰难的抉择。
我们相信，如果世界能有减缓或暂时暂停前沿 AI 开发的选项，以使社会结构和对齐研究能够跟上技术的进步，那将对世界有益。Anthropic 研究院将开展研究（并与许多其他机构合作）并采取行动，以帮助构建可信的减缓或暂停所需要的系统。这些系统将使前沿 AI 开发商能够核实全球其他人确实已经停止或放慢了脚步，从而确保坏人无法利用协调减缓的契机在暗中实现反超。如果存在这样的系统，我们期望，只要前沿或接近前沿的其他开发商也以可验证的方式这样做，我们也会放慢脚步或暂时暂停。
有意义的减缓或暂停，需要多个处于或接近前沿的资源丰富的实验室，在多个国家，同意在相同的条件下停止。它还需要每个实验室都能核实其他人确实已经停止。由于 AI 系统的独特性，这种军备控制问题的可探测性（一个比可核实性更低的标准）要素要比其他技术挑战得多。训练运行比导弹发射井更容易隐瞒，其输入是通用目的的，且静静违约的动机是巨大的——因为当其他人暂停时，谁继续谁就能继承领先地位。一个可信的暂停还必须指定什么是触发条件、什么能解除暂停以及由谁来判定。
这在原则上并不是完全不可能的——世界已经为其他复杂技术建立了核查机制（例如《中导条约》）——但那些机制花了数十年时间才建立了基础设施和信任。我们没有那么长的时间。相比之下，单一实验室的单方面暂停虽然可以立即实现，但起到的作用要小得多：它会改变谁是领跑者，但它不会创造目前所缺失的更广泛的审议过程。
在接下来的几个月里，我们将组织对话，邀请政策制定者、研究人员、公民社会和其他 AI 公司一起，帮助解答本文提出的一些问题，特别是关于完全的递归自我改进，以及如何为协调和审议创造更好的选择。我们将发布对话的产出。共同探讨这些问题的窗口已经打开，AI 公司之外的人们应当参与到这项审议中来。
Marina Favaro 和 Jack Clark 共同撰写了此文，Santi Ruiz 提供了编辑支持。Shan Carter, Romello Goodman 和 Nikki Makagiansar 根据 Brian Calvert 和 Jun Shern Chan 收集的数据制作了视觉图表。Daniel Freeman, Jim Baker, Max Young, Sarah Pollack, Francesco Mosconi, Holden Karnofsky, Andy Jones, Kevin Troy, Anton Korinek, Meg Tong, Andrew Ho, Dan Altman, Drake Thomas, Jack Shen, Sasha de Marigny 和 Avital Balwit 提供了反馈。
注释（Footnotes）
* 本文中引用的 Anthropic 员工名言均来自内部讨论并经许可使用。它们反映的是截至 2026 年 5 月的个人观点，并不代表官方公司立场。
-
METR 的关键衡量指标告诉你在哪些任务组合上 AI 系统可以达到 50% 的可靠性，尽管在 80% 可靠性上趋势线看起来是相同的。 ↩
-
特别是当它们转向更具开放性的格式和更困难的任务（例如，奥林匹克级别的数学）时，基准测试往往会在低于 100% 的水平达到饱和，这是由于问题和答案集中的错误（如模糊的问题陈述和无法解决的问题）。 ↩
-
Anthropic 领导层曾公开预估，我们 90% 或更多的代码是由 Claude 编写的，包括脚本和实验代码。我们的“超过 80%”数字衡量的是合并到生产环境的代码行中，可以归功于 Claude 的比例。这在两个方面是更保守的衡量方法：我们的归因管道存在空白，且未归因于 Claude 的代码行包括自动生成的代码和其他同样不是由人类手写的伪迹。 ↩
-
代码产量的激增正在使大家共享的基础设施承受压力。GitHub（世界上大部分软件构建的平台）在 2025 年全年见证了大约 10 亿次代码提交；而到 2026 年中期，它每周见证了 2.75 亿次提交，按此速度全年将达到大约 140 亿次。该公司的 COO 曾表示它正在容量上“极力推进”以维持运转。 ↩
-
有关该调查方法的更多细节已在 Claude Opus 4.7 系统卡片 的 2.3.5 节中进行了讨论。 ↩
-
许多受访者可能没有仔细思考如何解释问题定义中的各种偏差或微妙之处，并且 METR 的最新研究 表明，开发人员对 AI 生产力提升的估算可能会被高估。 ↩
-
速度提升的幅度在很大程度上取决于初始代码留下了多少改进空间，因此不应将其解读为真实世界中的训练加速。所以这里的绝对倍数并不是我们需要锚定的数字。更有信息量的是这种实验性设置所能实现的同类对比，无论是跨模型的（在过去一年中从约 3 倍到约 52 倍），还是相对于技术熟练的人类（在相同任务上用四到八小时实现约 4 倍）。 ↩
-
为了检查裁判偏见，我们对另外一组 127 个时刻运行了相同的测试，在这些时刻人类的下一步行动本身已经非常强（与人类方向有改进空间的原始组相反）。在那里，模型的建议仅有大约 20% 的时间被评为更好。 ↩
