Akka 大规模实测：基于规格的 AI 移植，65 个项目中有 57 个受益

在 AI 辅助编程日益普及的今天，如何利用 AI 高效地完成代码迁移或重构成为开发者关注的焦点。Akka 团队近期进行了一项极具参考价值的实证研究，他们利用 65 个开源项目，对“基于规格说明的 AI 辅助软件移植工作流”进行了全面测试。结果显示，结构化规格说明能显著提升 AI 实现代码的质量，且模型的选择直接影响成本与效率。

实验规模与流程：从需求到验证的闭环

为了验证理论，Akka 构建了一个严密的交付管控工作流，涵盖了从需求发现到基准测试的完整生命周期。实验共耗时 99.3 小时，消耗了高达 94.1 亿个 token。

实验主要分为两个阶段：

1. 广度测试：对全部 65 个项目生成规格说明并实现最多 10% 的功能，以验证工作流的可行性。
2. 深度测试：从上述项目中精选 10 个项目进行完整实现，并对比性能。

在实现过程中，Akka 搭配了 Claude 模型与 Akka Specify 工具，通过通用的基准测试运行器，对测试通过率、代码规模和运行时延迟进行了量化分析。

核心发现：结构化规格与模型选择的博弈

实验数据揭示了几个关键趋势，对开发者在 AI 工程化实践中做出决策非常有帮助。

1. 结构化规格是提升质量的关键

Akka 发现，使用包含声明、证据和类型化行为的结构化规格说明，能显著改善 AI 首次实现的效果。这表明，与其直接扔给 AI 一堆零散的代码，不如先定义清晰的契约。

• 对开发者的启示：在引入 AI 之前，先梳理业务逻辑和接口定义，将其转化为结构化的规格文档，可以大幅减少 AI “幻觉”和无效代码的生成。

2. 模型选择：Opus 更省钱，Sonnet 更省时

在模型对比测试中，Sonnet 平均每项移植耗时 61 分钟，而 Opus 则需要 120 分钟（耗时翻倍）。然而，Opus 的 token 消耗量却比 Sonnet 少了约 40%。

• 对开发者的启示：如果项目对时间敏感，选择 Sonnet 可能更合适；但如果预算有限且允许稍长的等待时间，Opus 能以更低的成本完成高质量交付。此外，单纯增加工作量设置并不会带来持续的效率提升，需根据具体场景平衡。

3. 验证与人工审查不可或缺

虽然 65 个项目中 57 个在代码行数或性能上取得了提升，但性能表现差异巨大。例如 Dify 的性能提升了 14 万倍，而 Netflix Metaflow 的运行速度却慢了约 100 倍。

Akka 强调了验证环节的重要性。除了自动化的单元测试和集成测试外，人工审查是必不可少的防线，特别是针对序列化、安全性、PII（个人身份信息）处理以及幂等性等关键领域。

• 对开发者的启示：AI 生成的代码不能直接上线，必须经过严格的自动化测试和人工安全审计，尤其是涉及金融或隐私数据的场景。

总结与讨论

在 LinkedIn 的讨论中，有工程师指出：规模较小的模型行为更符合现代化改造的预期，即更严格地遵循规范，而大模型可能会倾向于即兴调整。 这进一步印证了“结构化规格”的重要性——它充当了 AI 行为的约束边界。

对于 AI 工程化团队和开发者来说，这项研究提供了一个清晰的路径：拥抱结构化规格，合理选择模型，并保持对交付结果的严格验证。

标签

#AI工程化 #Akka #代码移植 #大模型应用 #软件工程