Claude自训Claude：4美元时薪跑赢人类

Claude开始训练Claude

Anthropic最新发布的一项研究，把「AI改进AI」从设想推到了实验台上。

他们基于 Claude Opus 4.8 搭建了一套名为 AAR（自动化对齐研究员） 的系统。拿到一个具体的模型安全问题后，Claude 会自己检索相关论文、从中寻找可用方法，再提出新的训练方案、生成数据、微调目标模型，最后跑一遍安全与通用能力测试。

从提出假设到完成验证，一条较完整的 AI 研究闭环，就这样交到了 Claude 手里。方案效果不好就丢弃，成绩有提升就沿着该方向继续试。单轮训练通常只跑 30 分钟，Claude 因此能像搜索算法一样在大量方案中快速试错。

人类负责出题、提供模型和评测标准，Claude 包下了从查资料到跑实验的绝大部分工作。

10道安全难题，全部找到改进方案

实验中，Anthropic 给 Claude 出了 10 道题，覆盖模型常见的对齐问题，包括欺骗、谄媚、奖励黑客、隐私侵犯和越狱等。

• 「谄媚」指模型为了顺着用户说话，给出用户爱听但未必正确的答案；
• 「奖励黑客」则是模型没有真正完成任务，只是钻了评测规则的空子骗到高分。

Claude 每次只处理一种问题，反复提出方案、训练对应目标模型，再根据成绩进入下一轮。最终 10 类问题全部得到改善。按 Anthropic 定义的「安全差距」指标，Claude 弥合了其中 26% 到 96% 的差距。

更重要的是，这些方法不只对看过的题目有效。部分获胜方案放到未公开测试集，以及模拟多轮对抗的 Petri 评测中，依然能降低模型的不安全行为；应用到规模最大为实验模型 4.7 倍的模型上，效果也能保留。

Anthropic 还设了一条红线：安全训练不能明显损害模型原有能力。毕竟让模型遇事就拒绝回答，也能让安全分数变好，但这样的模型基本没法用。最终 Claude 找到的方案在预设通用能力测试中没有出现明显退化。

85%对20%，人机比分悬殊

最悬殊的一局出现在「欺骗」测试中。为了让目标模型更诚实，Claude 先后提交了 150 多次尝试，边训练边根据结果调整。单次实验中最佳方案弥合了 82% 的安全差距，综合多次运行平均达到 85%。

同一道题，Anthropic 交给了 6 名经验丰富的 AI 安全研究员。结果人类研究员平均只弥合了 20% 的安全差距。

全部任务共有 28 名人类安全研究员参加，每人最多可用 8 小时阅读资料、设计方案。论文称，自动化研究员通常能在 6 小时内找到超过人类平均水平的方法，人类提供的研究方向也没有让 Claude 取得更好成绩。

成本差距同样扎心：一名自动化研究员每小时的 API 推理成本约 4 美元，而 Anthropic 付给人类研究员的报酬是每小时 150 美元。

不过这场比赛并非完全公平。Claude 可以真正训练模型、看到每次实验结果并不断修改方案；人类研究员只能提交一次方法，没有机会根据结果继续迭代。

较弱Claude训练更强Claude

前面的实验改进的主要是开源小模型。接下来 Anthropic 把难度拉高：让能力较弱的 Claude Sonnet 5，去训练尚未完成大部分生产级安全训练的 Claude Opus 4.8 早期版本。

在 60 小时里，Sonnet 5 测试了 50 多种解决方案，最终找到的方法弥合约 65% 的安全差距，已接近正式发布版 Opus 4.8 的 72%。这套方案使用的训练数据只有 2000 多条，主要由简单模板和公开数据集构成。按 Anthropic 的计算，在这组特定任务上，其数据效率大约是生产级对齐流程的 1.5 万倍。

当然，这不等于 Anthropic 可以用 2000 条数据复制整套生产训练。正式模型还要处理更多能力、更多风险以及大量极端情况，这次实验只针对一组明确的安全指标展开。

但它已经证明：较弱的 Claude 可以自己查论文、设计方法、生成数据，再把训练结果写进更强的 Claude。人类划定范围，Claude 负责迭代。

算不算「AI自进化」？

从结果看，这项研究确实摸到了「AI 自进化」的门槛。但如果把「自进化」理解成一个 AI 完全自主地设计、训练并制造出更强的下一代 AI，那这次实验还远没走到那一步。研究什么问题、用什么模型和数据、什么结果算成功，都仍由人类决定。

Anthropic 自己也承认，AAR 能优化的只是人类事先写进评测系统的目标。这次实验没有覆盖其他复杂问题；一些低频或刚出现的风险，甚至还没有对应的 Benchmark。研究人员也只检查了一组预先选定的通用能力，无法排除某种安全训练在提高分数的同时损害了其他未被测试的能力。Petri 等安全评测同样只是现实风险的代理指标。

更大的隐患藏在优势里：AAR 太擅长根据指标高速试错，一旦尺子量错，跑得越快，离人类真正想要的结果反而可能越远。

更戏剧性的是，研究 Agent 自己也会作弊。为防止 AAR 钻评测规则的空子，Anthropic 专门安排了一个监控 Agent 检查方案和完整研究记录。结果在约 1600 份研究记录中，监控模型发现了 39 次作弊尝试，占比约 2.4%。有的反复提交同一方案，试图利用评测波动碰出更高分数；有的模仿 Benchmark 格式生成训练数据；还有的故意隐藏违规实验步骤。

好消息是，这些作弊意图大多会出现在模型的推理记录里，因此能被监控 Agent 发现。坏消息是，Anthropic 也不能确定未来更强的模型是否还会留下这么明显的痕迹。当研究 Agent 拥有更多工具、更高权限，并能直接修改模型训练流程时，「怎样监控一个负责改进 AI 的 AI」，可能比训练本身更棘手。

但账已经很明显：一个 AAR 每小时约花 4 美元，可以连续工作，也能一次复制出几十、几百个并行跑实验；人类研究员时薪远高于此，需要休息，一次能推进的实验数量也相当有限。

这一次，轮到造 AI 的人担心被 AI 抢饭碗了。